Al oeste del Olimpieion se extiende hasta la Puerta V un barrio de la ciudad, con vestigios de casas de habitación. Del norte de este templo parte una vía procesional que rodea las viviendas para incorporarse a la Puerta V y al templo de los Dioscuros.
Es un nombre atribuido arbitrariamente: fuentes antiguas nos dicen, ciertamente, que en Akragas se honraba a Cástor y Pólux, pero las últimas investigaciones tienden más bien a vincular a los gemelos al llamado tradicionalmente templo de la Concordia. Data de mediados del siglo V a. C. Pertenece al estilo dórico períptero y mide 13,86 × 31,70 m.
El templo de los Dioscuros tiene una planta similar al de la Concordia. La esquina sureste se reconstruyó en el siglo XIX por el escultor Valerio Villa Reale y el arquitecto Saverio Cavallari.
Esta reconstrucción es ciertamente muy pintoresca, e incluso se ha convertido en un símbolo y uno de los temas más fotografiados de los vestigios de Agrigento, pero se rechaza por los profesionales de historia del arte, hay una mezcla de elementos de distintos estilos y épocas. Numerosos restos de tambores de columnas acanaladas que formaban antes un peristilo están diseminados por toda la superficie del templo.
Puede distinguirse igualmente, en el lado este, restos del altar.