日高の平取の酋長の娘チャレンカは、源義経を慕って神威岬まで何十里も追って来たが、義経はすでに船出した後で、彼女は悲しみのあまり岬から身を投じた。 彼女は岩と化し、とこしえに愛を訴える神威岩になったと言い伝えられている。
