Fue fundada y construida por los esposos Antón Manuel y Leonor Gil en el año 1586 para “Mayor Gloria de Dios, alivio de sus conciencias y descanso de sus cuerpos”. El lugar donde se encuentra construida la capilla fue donado a Antón Manuel, regidor del ayuntamiento y capitán de milicias, por el duque de Medina Sidonia. En dicho solar estuvo la primera Torre atalaya que los duques levantaron para auxilio de las almadrabas.
En Esta capilla se da culto a la Virgen del Carmen de gran devoción por las gentes de la mar, pescadores y marineros. Un inventario en 1900 nos dice que se componía la capilla de una nave con bóveda de medio cañón, sacristía, patio y habitaciones de la santera. Su altar lo presidía un lienzo de la Inmaculada.
Durante gran parte del siglo pasado estuvo esta capilla en un estado de gran abandono, sin culto y dedicada a otras funciones como alojamiento de tropas después de la guerra civil. Fue restaurada en los años sesenta. Su campana, aunque cascada, está fechada en 1632, siendo la más antigua de todas las iglesias de la villa.
