跨过大成门，为文庙中轴线建筑的第二进院，也即文庙的正院。正面是巍峨雄伟的大成
殿，殿前宽阔的月台围有青石雕筑的栏杆，使大殿威仪倍增。月台在中国传统文化里，是品位高贵的象征。月台中央镶有“拜石”，上刻寿字。月台前和左右都有石砌缓坡，正前方缓坡上雕有“二龙戏珠”，构图及气韵极佳。
大成殿面阔5间，通宽25．82米，进深5间，总进深24．3米。单檐歇山顶，五脊六兽，布瓦覆盖。五楹六柱，柱径0．47米，柱高5．11米。斗拱有柱头铺作和转角铺作，而补问铺作以大斜梁代之。柱头斗拱七铺作，双抄双下昂重拱偷心造，昂为批竹昂，耍头为蚂蚱形。外檐斗拱第一跳最长，第二、第三跳次之，第四跳最短，出跳总深169．5厘米，铺作总高为227．5厘米。每两柱头铺作之间，置一长大的斜梁，外端搭于罗汉枋之上，以承托撩檐檩，后尾则安置在内槽的柱头枋上，以线替补间铺作。大成殿内顶部，草以下设天花板，中央置藻井，屋架总高7米。其平面规划、营造手法，皆具宋代遗风，因而证实它保持了金大定年间初建的原风貌。殿内正面当心间有中柱两根，在东西次间之两缝位置上。柱后神坛有神龛三阁，神坛后及左右壁都以土墙同后堂相隔，使殿堂形成倒凹字形。
神坛正中端坐孔子的高大塑像，两旁龛中为“四配”，左侧为复圣颜回，述圣孔假；右侧为宗圣曾参，亚圣孟轲。坛下两侧为“十哲”，东侧是闵损、冉雍、端木赐、仲由、卜商；西侧是冉耕、宰予、冉求、言偃、颛孙师。神像布局为明嘉靖九年前的排列礼制。孔子手捧躬圭(俗名又叫笏板)，头戴十二旒冠，身着十二章衮服。“四配”、“十哲”皆着九旒冠和九章衮服，手执躬圭。这些服饰都是宋崇宁初年，宋徽宗根据国子司业蒋静奏请，按照周代服钦定的。
明嘉靖九年(1530年)，大学士张璁向嘉靖皇帝建议：“孔子宜称先圣先师，不称王。祀宇宜称庙，不称殿。祀宜用木主，其塑像宜毁。”(《明史·礼四》)当时嘉靖皇帝刚愎自用，又十分宠信张璁。所以不顾许多大臣的反对，强行下令将全国文庙的“大成殿”改称“先师庙”，大成门改称“庙门”。孔子及其弟子的塑像全部毁掉，改用木主，上题“至圣先师孔子”，“四配”、“十哲”也削去封号，只称“某某子”。从此以后，平遥文庙同全国各地一样，大成殿中的塑像全部更为木牌位，清代也一直沿用，只是又增添“有子，’、“朱熹”的牌位配享，从而“十哲”增为“十二哲”。直至20世纪50年代初，笔者在这里上中学时，仍可见大成殿神坛上硕大的孔子木主，红底金字。
大成殿是全国各地文庙中仅存的金代建筑，为国之瑰宝。新中国成立后，我国著名古建筑专家梁思成先生曾亲临考察，给予了极高的评价。民间也有许多关于大成殿的传说：大成殿初建时曾用本县高林村的一颗巨大的枸杞木做梁，能工巧匠们因柱材不够，还做了一棵用木渣填充的殿柱。但“杞木梁”、“木渣柱”今在何处，谁也说不清了。
大成殿神龛上方悬挂着的巨大金匾，上书“德齐帱载”，为清咸丰元年御书。清王朝同以前的金朝、元朝一样，虽然都是少数民族建立的王朝，但他们都十分清醒地看到，孔子儒学的道德伦理，已是占全国人口绝大多数的汉民族的道德伦理精髓，要想牢固维护自己的统治权，必须遵循这一道德伦理规范。因而这些王朝的统治者十分重视“尊孔崇儒”，甚至亲临山东曲阜祭孔，封赏孔子后裔为“衍圣公”，提高祭孔礼仪规格等。清王朝的历代皇帝几乎都有御笔题赞孔子之匾，诏令各州、县悬于文庙大成殿，以示圣恩。清顺治九年(1652年)钦命刊立卧碑于全国各学宫，以晓谕生员。文庙大成殿中还有清朝历代皇帝的御书匾额：
康熙二十五年御书“万世师表”康熙三十三年御书“至圣先师”
雍正三年御书“生民未有”乾隆三年御书“与天地参”
嘉庆四年御书“圣集大成”道光元年御书“圣协时中”
咸丰元年御书“德齐帱载”同治三年御书“神圣天纵”
光绪七年御书“斯文在兹”
溢美之声代代有加，种种尊孔措施，使孔盂之道成为整个中华民族传统文化的道德核心。
大成殿后壁的外面正中，书有一个巨大的“魁”字，是宋代民族英雄文天祥(号文山)的墨宝，清乾隆三十八年(1773年)修葺文庙时临摹于壁上，用以激励学宫中的生员苦读圣贤书，以成国家栋梁之才，他日有状元及第者回乡拜孔，可手除此字，并勒石铭记，此为“状元夺魁”。今魁字完好如初，说明平遥历史上没有出过状元。
