南郭寺是一组古典园林庭院式建筑布局的寺院。坐南向北，由三座山门为入口形成西、中、东三座大院。依山就势、布局和谐。
西院
西院为南郭寺主院，山门外两侧各有一株古槐参天蔽日。山门为虎坐式三开门，门额上悬赵朴初先生书“南郭寺”匾。门内两侧有钟、鼓二楼。紧依钟鼓二楼有两座小垂花门，门内小院分别是东、西禅林院。清光绪二十八年(公元1902年)，本州州民将东禅林院改为“杜少陵祠”。祠内东、南、北各有殿堂三楹，东殿堂内塑有杜甫及侍童像三尊，为晚清作品。堂上悬霍松林先生题写的“诗史堂”匾额。门柱上挂有木楹联一副：
陇头圆月吟怀朗；
蜀道秋风老泪多。
系清人谢威风撰，甘肃省清水县毛选选书。
天王殿为西院主轴线上第一座殿堂，门额上方悬宋代书法家米芾书“第一山”巨匾，此匾系光绪二十九年州民从别处临得。殿堂为单檐悬山顶，三开两进式。殿内正中塑弥勒佛，两侧为四大天王及面南而立的护法韦陀像。天王殿两侧有月门，入内，院中宽敞，古柏苍劲。正南是面阔五间的大雄宝殿，此殿原系三开间，“文革”中被毁，1988年重修时扩为五间。单檐悬山顶式，砖木结构。顶覆琉璃黄瓦，正脊两端施以龙吻吞脊，中置楼阁宝刹。金碧辉煌，高大雄伟。殿门额上悬著名书法家天水籍周兆颐书“应无所住”(语出《金刚经》)匾。门柱上挂木楹联一幅：
东土耶，西土耶，老树灵根不二；
风动焉，幡动焉，北流泉水湛然。
系甘肃诗词学会副会长张举鹏撰，甘肃省书法协会主席黎泉(赵正)书。
殿内祀三方佛、二弟子、二菩萨(注一)。塑像仿唐代早期塑像风格塑造。神态沉静庄严，衣饰紧身，薄纱透体，承北魏秀骨清像余韵。
东西各有配殿堂房、厦房九间。东配殿原祀把东方三圣(注二)，堂房祀四大伽蓝(注三)，这些塑像均毁于“文革”前期。东配殿现祀高1．8米的铜质地藏王菩萨像一尊。
西配殿原有铜质鎏金坐佛三尊，为西方三圣(注四)。像高2.2米以上，造型精美，神态生动，衣褶自如，线条流畅。为唐代所铸，属国家稀有瑰宝。不幸在1970年被毁。现祀缅甸华侨傅凤英女士赠玉石观音菩萨坐像一尊。左侧堂房原为孤魂殿。
院中花墙围栏中一株古柏，黛色霜皮，横卧南北，即千年古柏。园中花木争妍，沿墙竹影摇曳。晨钟幕鼓，山鸟时鸣，清幽恬静，景色宜人。
从西侧堂房穿过即到卧佛院。卧佛殿坐西面东，单据悬山顶，面阔三间。原殿宇毁于六十年代初期，1994年天水市佛教协会重修。殿内修有暖阁，内祀来自缅甸的玉石佛祖涅磐像一尊。阁上悬挂“得大自在”匾额，两边挂楹联一副：
法雨频施，倾听渭水春潮涨；
佛光普照，卧看秦城瑞气孚。
系陕西师大教授霍松林题写。
北侧修转角厦房五间。宽敞的院中原有七级舍利砖塔一座，不幸早毁。
中院
中院山门为一开悬山顶式，门内两侧原有马房两间，中轴线上有台基高三米余，广约八十平方米。上有建于清乾隆六十年(公元1795年)关圣殿三间。据传，此处原有木质藏经楼一座，所藏佛经极多，不幸毁于大火。
院西为碑厅房，所存碑石毁于“文革”中。
院中空阔，辟为花园，从春到秋，花开不断。花架甬道，藤萝蔓挂，为旅游者提供了观赏休憩的去处。
东院
东院山门为三开悬山顶式。上悬已故书法大师沙孟海书“南郭寺”匾。门内东西各有堂房，正中有过厅。
厅后有一座六角攒尖顶亭，亭柱六棱形，侧脚明显，风格古朴。亭上原悬“灵澈池”匾。亭中有泉一眼，即是杜甫诗中称的“北流泉”。亭后有观音殿三楹，殿内塑有莲卧观音像一尊，形态安祥，造型别致。东侧有龙王殿，西侧有圣母殿及卷棚。这些殿堂均已拆除改建为碑厅。
院东，近年新开辟占地约800平方米的梅园一处，每到春季，红梅绽开，暗香浮动，香飘四溢。