五色浜一帯は岩場の海岸である。駐車場から眺めると、眼下には波食台が広がる。これは、1500万年前の凝灰岩である。波食台の表面には多数の甌穴（ポットホール）が見られる。甌穴の周辺は海域公園として散歩道などが整備され、岩や潮だまりでは、海の生物を観察することもできる。複雑に入り組んだ変わった形の岩の数々は、大昔の台地を知る手がかりである。ここには様々な色の礫が含まれていることから五色浜と呼ばれている。