Salvo la portada lateral, el resto de edificio ha desaparecido por completo, conociéndose parcialmente su estructura gracias a algunas fotografías de los años cuarenta. A través de éstas podemos deducir que se trataba de un edificio de planta rectangular con el presbiterio ochavado y una torre de tres cuerpos situada en el eje de la nave.
La construcción se realizó a base de mampuestos, salvo en contrafuerte, esquinas y vanos, donde se buscó el refuerzo de sillares de granito, acarreados seguramente de Talavera la Vieja, pues muchos de ellos presentan inscripciones funerarias e incluso bajorrelieves con rostros muy borrados.
La construcción data seguramente de finales del siglo XV, quedando una huella del estilo de la época en la portada, que presenta un arco carpanel con dos arquivoltas que surgen de pequeñas columnas semicilíndricas, capiteles y basas góticos. En el intermedio de las arquivoltas se inscribe una serie corrida de figuras humanas, elementos vegetales y animales.
Por las ordenanzas de Talavera la Vieja sabemos que en el s. XVI se celebraba una romería en el entorno de la ermita de Nuestra Señora de la Poveda, cuya imagen conservaron los arrendatarios de la finca. La última noticia que tenemos de ella es que se trasladó a Castañar de Ibor, sin que se conozca su destino actual.