Poyatos queda en pie muy por encima de los barrancos y los pintorescos hocinos de la vega del río Escabas. Más altas que el pueblo todavía destacan las lomas breñosas de un cerro con leyenda al que dicen de “ La Mora Encantada ”. Poyatos resulta en si un pueblo escondido y de difícil acceso, típicamente serrano, con un lejano aire medieval de ciudad infranqueable. Desde sus orillas se contemplan en cualquier dirección panoramas verdaderamente interesantes. Si los primeros celtíberos pudieron ocupar aquí labor en la corta de maderas o el cuidado de ganados, serán los romanos quienes aprovecharán la riqueza de sus montes, extrayendo ricos filones de hierro.

Los primeros datos que tenemos sobre Poyatos corresponden a la población, allá por el siglo XIII, cuando pobladores del bajo Aragón, llegan hasta qquí buscando hogar en terreno ya reconquistado. La población presenta un recinto amurallado que rodea a la iglesia y que fue construido en el siglo XV por medio del apoyo económico del entonces obispo de Cuenca. Está formado por una muralla que da forma a un recinto y al que se accede por el llamado arco del concejo, de traza rectangular y arco de medio punto. A su vez dos arcos de sillería forman el paso de la calle. Presenta un piso superior al que se accede por una escalera interior.
Frente a la iglesia, un edificio que albergaba la fragua que por su exterior presenta restos de muralla y un torreón de esquina junto a un pequeño ventanuco de medio punto. El edificio del ayuntamiento es una muestra bellísima de la arquitectura popular serrana del s. XVI, con oscura galería quemada por el sol y por las lluvias, barandal y pasamanos de palitroques igualmente de maderas envejecidas. Todo el conjunto del balconaje se sostiene sobre tres columnas redondas de piedra dórica, trabajadas, cabe suponer, por canteros serranos de tiempos de los Austrias. En las afueras, la ermita de Nuestra Señora de Poyos.