Ya en 1595 existía la Hermandad de San Benito, que se extinguió en la época de la desamortización y renació en 1853 para desaparecer otra vez a principios de este siglo. Hacia 1950 se reorganizó nuevamente, pero subsistió poco tiempo. En el presente se ha fundado una Asociación que cuenta ya con más de 400 hermanos.

       Desgraciadamente son muy escasos los hijos de Lebrija devotos del Santo Abad de los que se encuentran noticias. Destaca entre ellos Gonzalo del Castillo Barba, al que decían "el del Perú", quien según consta de los fragmentos que hemos encontrado de una copia de su testamento, otorgado el día 26 de mayo de 1535, ante Cristóbal García del Ojo, mandó construir un convento junto a la ermita, y que cuando lo habitaran los religiosos, cuya Orden no cita, se trasladara su cuerpo del lugar en que estuviere a la capilla mayor. No se construyó el Convento ni por consiguiente vinieron los religiosos a la ermita aunque los Franciscanos Observantes residieron allí por algún tiempo.

       Esta ermita fue siempre muy pobre. Ya lo era cuando en 1502 la visitó el capellán del Arzobispo de Sevilla, y así lo consignó en el acta de su Visita, mandando al Vicario que en adelante la favoreciera. En 1818; solamente poseía 9 aranzadas y cuarta de olivar en siete pedazos.

       En tiempo de epidemia esta capilla se dedicó siempre a lazareto.

       Antiguamente, el día 21 de marzo, el clero y las autoridades iban en procesión desde la Parroquia hasta la ermita a celebrar la i función del Patrono, a la que asistía gran número de personas que luego pasaban el resto del día por los alrededores. Muchas, de uno y otro sexo, iban el día anterior a dormir a la ermita -como también ocurría en el Castillo-, lo que prohibió el Visitador de 1561, Dr. Gil de Agudilla, porque "allí -decía- se cantan cantares no convenientes a semejante lugar e tañen vihuelas e otros ynstrumentos e se hacen otras disoluciones de que Dios nro. sor. es deservido e qriendo proveer de remedio sobre ello mdo. en virtud de santa obediencia e so pena de xcomunión mayor a el ermitaño e psna.q. tiene o tuviere cargo de rresidyr en dha hermita q. de aquí adelante anocheciendo cierren la puerta de la dha hermita e no consientan ny de lugar q. ninguna psna. ny hombre ny mujer quede en ella e no abra hasta el otro día amanesciendo... "; también ordenó al Vicario que nunca se dijera misa en San Benito antes de amanecer.

       En la actualidad, y desde hace muchos años, la función religiosa se celebra en el templo parroquial, y sólo es costumbre de visitar la ermita una vez al año, el día de San Sebastián, 20 de enero, en plan de romería y fiesta.