朱温对张全义并不放心，不敢给他兵权，生怕他在什么时候反过来咬自己一口。于是，给了他一个没有实际兵权的检校司空的军衔，并仍让他做河南尹，去河南一带组织生产。洛阳虽是名都，但自唐朝的安史之乱以来，就屡遭破坏，等张全义治理洛阳时，只在洛阳找到了一百多户人家，四五百口人，这个历史上的军事、商业、文化重镇已残破到了这种程度。但张全义并不灰心，他出身农民，确实有一股吃苦耐劳的精神，他只带去了一百多个部下，到洛阳所属的十几个县去招收安顿流民，并制定具体措施，在他的努力之下，数年之后，每个县都招募安顿了数千户流民。然后，张全义就趁农闲组织强壮男子练武，逐渐建立起了一支两万多人的军队。在治理洛阳时，张全义确实立下了功劳。
在他任河南尹的时候，朱温的势力越来越大，最后终于发展到代唐自立。朱温用武力把唐昭宗挟持到洛阳，想废掉唐朝，建立朱氏后梁政权。但洛阳地区是张全义的势力范围，朱温生怕张全义反对他篡唐自立，就事先撤掉了他的河南尹的职务，把他封为东平王，给他换了一个中书令的虚衔。