この阿弥陀如来の由来は、天武天皇にまでさかのぼります。
天武天皇が春日大明神の霊夢によって奈良の里大江賢問と称する者に刻ませたもので、東大寺に御安置されていました。

これを重盛が紀州熊野大権現のお告げによって申し受け、以後平家一門の守り本尊としていたのです。

平家が壇ノ浦で破れて後は、残党の植田･岡野･百合野氏らがこれを奉持して彦島を訪れ、先住の河野一族と計って堂宇を建立しました。

その後、一辺上人が西国教化のためにこの地を訪れた折、上人に従っていた西楽法師がこの護持仏を拝し、
「これはただならぬ御仏である。どうかこのような立派な御仏のもとで、一門の供養を…」
と島の人たちに頼み、現在の西楽寺が建立されたと伝えられています。

この西楽法師も実は平家の一門であり、一門の供養のために出家した人物です。
平家再興をはかり、その機会を狙っていた人々の野望を鎮め、農業・漁業などの生業につくよう導いた人物なのです。

このお寺の本堂には、次のような案内がなされていました。
「重盛は清盛の専横に、心労のあまり病気になり、そのころ西の極楽と言われていた知盛の知行国彦島に阿弥陀如来とともに南下、阿弥陀如来を彦島に安置して自分は自らの知行国九州に渡り、そこで病気により没する」

こうした縁あってか、阿弥陀如来様のご尊前には、安徳天皇、平清盛、平重盛、平知盛、そして平家一門のご位牌が置かれていました。