对付举人老爷为首的士绅集团可不比对付秀才那样简单了，因为前者所拥有的财富是后者远远不能相比的，在乡里的地位更是后者拍马而不及的。
举人老爷们对于乡里话语权的垄断具体表现为他们对乡里的统治权，这得益于历朝历代皇权不下乡的传统。基本上除京畿直属的特殊区域，官府对于乡间的治理权都是下放给当地士绅的，而代替士绅对当地进行管理的便是保长、甲长。而能出任本地保长、甲长的又都必须是士绅所认可的人选，否则他们是无法代替士绅对乡里进行管理的。
太平军想要在香山立足，并且发展壮大，就不可避免要和当地土著势力发生冲突。这个冲突可以是温和的，也可以是暴力血腥的。若是太平军只是明军的一支普通兵马，周士相也只是南明政权的一员普通将领，那他大可继续执行从前的皇权不下乡制度，只在太平军需要钱粮的时候通知下面的宗族士绅，再由他们让保甲长去百姓家中收取就行，同样，太平军需要夫役的时候也采取如此程序。
可问题的关键是周士相乃两世为人，所以他不会接受这种毫无效率且对农民伤害极大的制度，因为这个制度有利的是那些士绅和保甲长，产生的浪费和骂名却是太平军的。太平军的壮大和反清的长期艰苦性决定太平军需要在香山建立一个有效动员制度。这个有效动员制度不但包括钱粮，更包括人力。
一个官府、一支军队、一个领袖，一种信念！
在此信念下，存在于香山各地的士绅和保甲长们无疑就成了周士相的绊脚石，最好的办法就是将他们消灭，但这样做的后果就会让太平军的名声大坏，毕竟这个时代掌握话语权的就是这帮地主士绅。而且周士相没有理由拿那些没有逃跑的士绅开刀，毕竟太平军打着的是大明军队的旗帜，也是奉永历朝廷为正朔的一支军队。
在从前没有和明军接触前，周士相想怎么样做都是他的事，没有人会管他，因为不管他承认不承认，他所建立的太平军就是流寇。可在和陈奇策等明军接触以后，又得到了明朝广东总督衙门的认可，他再干杀绝士绅的事就无法对外交待了。
打土豪分田地这种事情听起来美，但真正实行起来可就难了。历朝历代农民起义无不是以此做为造反口号，可真正能成功的却没有一个，无数次农民起义的成果最终不都是被和地主士绅合流的家伙窃取了吗？就是大明朝的开创者洪武皇帝不也是因为得到了地主士绅支持才开创了大明260年的基业么，倘若当年洪武皇帝依旧是打着明教旗号，没有得到刘基等地主士绅中的精英支持，这大明还能建立？
周士相到香山来，就是要一改从前的政策，他是真心要在香山发展，因此他不可能搞什么打土豪分田地，但是这不意味着他不能做些其他的。
曲线救国这个词听起来不好，但要看怎么做。
周士相不能杀绝留在香山的地主士绅，也不能强抢他们的家产，但他能剥夺他们的统治权。
周士相的第一步就是以新会县衙名义正式发出榜文，自即日起，属香山县治的十个坊都一律由坊改回乡，如良字都更为良字乡，永乐都更为永乐乡。
坊都更名的事情没有引起地主士绅们的反对，因为宋朝的时候香山所属的坊都就是乡，洪武十四年才改的坊都。既然以前就叫乡，那么现在改回去也没什么，不过就是公文上名称的不同而矣，没必要大惊小怪，太平军初来乍到的有些动作也是再所难免。
不过很快，士绅们就意识到不对了。年关刚过，太平军驻各坊都的兵就把当地的保、甲长们“请”到了香山县城，随后县里就有消息传来，原先各乡的保、甲长们一律罢免，今后也不再设保、甲长，而是以太平军委任的乡长、村长负责当地百姓的治理。当地百姓以后有事也是先找太平军任命的村长处理，村长处理不了再由乡长处理，乡长还不能处理就由知县处置。
非但如此，太平军还在各乡设立乡公所。这个乡公所一般设在各乡人口稠密的村子或交通便利之所。乡公所除了一个乡长为主官外，还设有两个副乡长，另外还有10人至20人不等的公所行管人员。
各乡乡长的人选早在年前，周士相就和宋襄公商定过，最终决定由后营的各营老出任，另外再选一营管出任副乡长，而另一个副乡长则是给当地人预备的。
单是乡公所的一干行管人员是无法震住乡里士绅和宗族势力的，所以周士相又在各乡建立保安队。人口较少的乡保安队员编制为100人，称保安中队；人口较多的乡则编制为150人到200人不等，称为保安大队。
保安队的成员都从原后营保安团抽调，同时后营这个编制也解散，所属营民归由各乡安置。除原先在龙眼都安置了后营的2000妇孺，周士相又相继在香山县治仁厚坊安置了3000人，前山寨安置了1600人，良字都安置800人，长乐、永宁、大字都等地各安置数百人不等，如此将近万余人的后营老弱妇孺被分散安置完毕。
保安队的职责就是维持当地治安，并归乡长提调用以处置突发事件，如士绅煽动农民抗捐，围剿境内盗寇诸事。太平军动员作战时，保安队同时承担后方安全，并对前线提供兵员补充。换句话说，各乡的保安队不仅有类似后世警察的职能，更是作为太平军预备队使用的。
乡公所的成立，保安队的进驻，加上新任乡、村长的产生....一系列令人眼花撩乱的动作过后，士绅们才回过味来——他们对于乡间的统治权已经被太平军剥夺。
周士相还担心各地成立乡公所时，会有不甘失去统治权的士绅联合宗族力量煽动百姓闹事，所以每个乡公所成立的时候不但保安队全员武装，当地和邻近的驻防太平军也在营中待命，随时准备扑杀有可能发生的反抗，但是直到十个乡公所全部成立，预想的反抗都没有发生。
各乡传来的消息也是当地的士绅很老实，对于乡公所的成立很欢迎，并且有几个士绅特意派人到乡里咨询，是否能给自家子弟在公所里安排个差事，有的门路更是直接走到了廖瑞祥那里。对此，周士相的表态是在不影响公所正常职事的前提下，可给这些士绅子弟一定安排。
事后，宋襄公分析这些士绅的心态，他道：“这帮人本就没胆子，清妖来时他们躲在乡里不肯出来反抗，清妖杀他们的人烧他们的房子，他们也都赔着笑脸。现在清妖被咱们撵走了，咱们又不没收他们的土地，也不抢他们的银子，只是让他们交出当地的统治权，还给他们子弟一定出路，这已经是仁至义尽了。百姓们得了咱们的好处，虽碍于乡里和宗族面子，但对于我们还是欢迎的，绝不会听这帮人的话和咱们做对，所以他们也只能老实。真要不老实，他们又能如何？打？清妖都叫咱们撵走了，他们还能比清妖强不成！”说到最后，他又不无担心道：“别的都不怕，怕就怕他们会告咱们，那样的话倒是不好和总督衙门交待了。”
听了这话，周士相哈哈一笑：“怕什么？让他们告去！就是告到昆明我也不怕！大不了到时本记名总兵自己开堂问问他们，你们这帮刁民为何要状告本官！”