La creación de la Cofradía de San Sebastián se remonta a finales del siglo XV, si bien los restos de la actual ermita se sitúan en 1655 según el libro de reglas. De planta rectangular, fue construida íntegramente en piedra con muros de mampostería y gruesos sillares en las esquinas. El pórtico de acceso no es visible desde el exterior, es el único elemento arquitectónico que se conserva en pie y tiene forma de arco de medio punto con las dovelas intactas. Aunque en sus orígenes estaba aislada, en la actualidad se ha adosado al recinto que alberga el Cementerio Diocesano. Desde el camposanto, cuyas paredes se sostienen sobre cuatro contrafuertes laterales agrupados de dos en dos, se divisa una magnífica panorámica de la vaguada en la que se asienta el caserío.
Por su ubicación estratégica, los terrenos colindantes a la ermita se aprovecharon para erigir el cementerio. En la actualidad se construye un recinto extramuros de moderno diseño que se localiza a casi un kilómetro del núcleo urbano.
La única nave que posee la ermita, que originariamente era mucho más alta que en la actualidad, ha sido completamente vaciada para que fuera aprovechada como anexo al cementerio y se comunica a través de la portada principal. Al contrario que la mayoría de los pueblos de la provincia de Guadalajara, que sitúan estos lugares sagrados a larga distancia de los cascos urbanos, en Yebes está perfectamente integrado en la zona habitada.
