当时，金人入侵，虎视蜀地（即今四川），西南部的形势危急。吴玠正在要害地带，坐镇防守。一天，他背着双手，步行外出，与士兵们站在一起谈话，了解他们的境况及各方意见，询问他们家乡有没有什么冤苦难伸之事。
这时，一位跟随他的幕僚，劝他说：“大敌离此不远，万一有刺客袭来，您不是非常危险吗?”
吴玠回答：“形势严峻，确实如你所说的。但我不能只顾个人安危，为防被刺，而不深入下层军民。朝廷让我担任宣抚使，又掌管军事，身负军政重责。我深恐下层军民为某些官员所阻，有冤屈而无从伸告啊！我深入下层，察询民情，即使被刺死了，国家也不会怪罪我为不贤。我不怕死，但怕不贤！”（据郑瑄《昨非庵日纂》）