平茶土司衙署暨祖庙位于清溪场镇司城村司城组司城街，系元、明、清平茶长官司治所和杨氏土司祖庙。南平茶首任长官杨光彤于南宋时期最早在此修建土司衙署，现存房屋为元代建筑。

该建筑座西朝东，占地面积887.86米，建筑面积804.26米。由前厅、正堂、后堂、左右厢房、围墙几部分组成。前厅木结构单檐歇山式顶，穿逗式梁架，五穿用四柱，通面阔三间10.4米，通进深三间10.5米，通高8.5米。正堂和后堂均为木结构单檐悬山式屋顶，穿逗式梁架正堂五穿用四柱，通面阔五间20.6米，通进深三间12.6米，通高8.75米，后堂通面阔五间20.6米，进深一间2.15米，通高8.4米，右厢房通面阔五间23.5米,通进深一间5.1米，通高8.75米，正堂右边有长廊通后堂。天井青石板铺砌。除四周围护墙采用烧制砖墙，其余皆为木质结构。解放前后均有拆除，现左厢房和后堂已拆毁，正殿、右厢房改作粮食仓库。戏楼局部改建，用于住人。

平茶土司衙署暨祖庙遗址是研究我县平茶土司政权、土司建筑文化的重要实物资料。