Se encuentra en el extremo nororiental de la provincia, entre los ríos Guadalete y Guadalporcun, es conocido como el Balcón de los Pueblos Blancos por las magníficas vistas que se pueden contemplar desde el Monte de El Algarín y la cima de las Grajas. Forma parte de Ruta de los Pueblos Blancos.

El origen se remonta a la política de repoblación de las villas reconquistadas por Don Rodrigo Ponce de León y Núñez en 1.520. El reparto de la tierra que proclama el  duque de Arcos marca el orígen de la colonización de la Villa de El Gastor, creándose en principio como núcleo agrario y comercial. La existencia de una fuente dio lugar a la construcción de las primeras casas, atrayendo a vecinos de su matriz Zahara a colonizar las tierras existentes a los pies del Monte El Algarín.

Entre los siglos XV y XVIII, la Puebla de Castores (El Gastor), al igual que la Puebla de Algodonales (Algodonales) y La Muela; pertenecía jurisdiccionalmente y formaba parte del Marquesado y Señorío de Don Rodrigo Ponce de León y Ponce de León, I Duque de Arcos y II Marqués de Zahara. La Puebla de Castores (El Gastor), tenía jurisdicción pedánea, y la autoridad era un Alcalde nombrado por la Villa de Zahara y confirmado por el Duque.

Destaca la fabricación y uso de un tipo de gaita autóctona La Gaita Gastoreña, instrumento relacionado con otros tipos de gaitas de otros lugares de España como Madrid,  Guadalajara o Pais Vasco. La gaita gastoreña es conocida en toda el área de El Gastor y la Sierra de Cádiz.