Die Filialkirche Affnang ist dem Heiligen Jakob dem Älteren geweiht, dem Schutzpatron der Kreuzfahrer.
Die Kirche ist ein spätgotischer Bau. Bei der heutigen Kirche gilt als baulicher Nachweis eine im 15. Jahrhundert durch die Pfarre Gaspoltshofen erfolgte Vergrößerung des Presbyteriums. Aus dieser Zeit stammen auch die im Jahr 1929 freigelegten westseitigen Portalgewände aus Sandstein sowie die erhalten gebliebenen gotischen Skulpturen aus dem Vorgängerbau.