永元十五年（103），王涣陪同汉和帝南巡，回到京城后担任洛阳令。为政期间，王涣以“平正居身”，处理政事宽严适中。对那些长期争讼的疑案难案，他都能弄清真相、分清是非。他又能用机巧的办法揭发隐藏的坏人坏事。

据《东观汉记》记载，王涣任洛阳令时，有盗贼刚刚得手，就被人发现，无法逃脱，他们有的藏在沟渠内，有的伏于瓮下。王涣经过分析，推测出盗贼的藏身之所，最后将盗贼一一拿下。京城的人都称赞感叹，认为王涣有“神算”。

元兴元年（105），王涣病逝于洛阳令任上，“百姓市道莫不咨嗟”。王涣的灵柩西归，路过弘农县，民众都在路边摆起了盘子桌子，放上祭品。官吏询问原因，百姓说以前运米到洛阳，总是在路上被兵士猾吏抢夺，常常要损失一半。自从王涣在洛阳任职后，再没被侵吞粮食，所以前来祭奠报恩。百姓怀念他的恩德，为他在安阳亭西边建立祠庙。每当祭奠时，人们就一边进献食物，一边和弦而歌。

王涣的为人为官得到了上至朝廷下至百姓的普遍赞誉。

汉代乐府诗兴盛，既有文人创作的，也有民间创作的，吟咏的内容也很广泛。在汉代乐府诗中，有一首《雁门太守行》就是歌颂王涣政绩的：“孝和帝在时，洛阳令王君，本自益州广汉蜀民……治行致贤，拥护百姓，子养万民。外行猛政，内怀慈仁。文武备具，料民富贫……贤哉贤哉，我县王君。臣吏衣冠，奉事皇帝。功曹主簿，皆得其人。临部居职，不敢行恩。清身苦体，夙夜劳勤。治有能名，远近所闻。天年不遂，早就奄昏。为君作祠，安阳亭西。欲令后世，莫不称传。”

东汉延熹八年（165）四月，汉桓帝下诏，拆毁全国的名人祠堂，唯独在诏书中明令两处祠堂要保留：一个是汉武帝时太傅卓茂在密县的祠堂，另一个就是王涣在洛阳的祠堂，足见王涣的影响力之大。