「赤目」の名は、役行者がこの地で修業をしている時、不動明王が赤い目の牛に乗って現れたという伝説に由来します。古来、役行者をはじめとする山伏の修行の地として知られ、三大上忍の百地丹波守も修行をしたといわれています。