建築基地位於台南市老城的中心地帶，孔廟文化園區之中，旁邊是司法博物館（原台南地方法院）和忠義國小。基地之前曾經是日本神社、體育館，地面是公園的地下停車場。競圖之前，美術館籌備委員會已經決議，需要保留地下停車場作為新美術館的停車之用，因此新設計的美術館的結構，必須要配合既有地下停車場的柱位及結構系統。短期來看，這個方式可以節省整體建造的經費，但是長期來看，既有的地下停車場因為混凝土的中性化，和鋼筋的老化，可能會縮減美術館的生命週期。

坂茂選擇了採用五角形作為這個案子的基本幾何型。五角形是一個非常獨特的形狀，和四周的矩形街道每個面有不一樣的角度，很少運用在建築設計上。鋼結構接合的角度也很特殊，精密度需求也特別高，必須直接由電腦上的設計圖面直接轉移到工廠去製作。採用五角形另外一個理由之一，就是台南市的市花鳳凰花是五角形的，這個也是我們在競圖時，提出的主要概念構想之一。