西武グループ創設者である堤康次郎が収集した美術品を保存・展示していた高輪美術館を1981（昭和56）年に長野県軽井沢町へ移転した美術館である。移転を機に、伝統的な価値保存の場から実験的創造の場として美術館の役割を変化させ、「生きた美術館」となるべく1991（平成3）年に現代美術を館名に表示してセゾン現代美術館に改称する。移転後の建物は、建築家菊竹清訓によって「緑の中の美術館」をコンセプトとして軽井沢の自然に溶け込む数寄屋造りのような低層の展示室が設計される。展示室の前に配置された庭園は、彫刻家若林奮が基本プランを作成し、樹木が風で揺れる音や川のせせらぎを聴きながら彫刻作品を巡る回遊式で構成されている。軽井沢の豊かな自然の中に展示室の建物や彫刻作品が佇み、それらの美術品が自然の邪魔をせず、自然と共生した美術館を実現している。