寺伝によれば、高倉天皇の中宮、建礼門院につかえた阿波内侍が出家して真阿（しんな）と名乗り、清水寺の観音様の霊告によって、この一言寺を建立したと伝えられています。

一言寺下の小道は，治承４年に平家打倒に立ち上がった源頼政が利あらず、南都へ落ちて行く際に通ったところから「頼政道」と言われているそうです。