室町時代に「江の奥殿」と呼ばれた屋敷を、明治時代に実業家・諸戸清六が買い取り、庭園を拡張しました。国の名勝にも指定されています。
元禄2年松尾芭蕉が奥の細道の旅の後、伊勢神宮の遷宮を参拝の旅につきました。 その旅で最初に立ち寄ったのが大智院です。
弘法大師がこの地を訪れた際に本尊を造られ、五つの寺院を建てたとされています。 県指定文化財の「絵馬」が有名です。