Bununla beraber, Yermuk muharebesi gibi Müslümanların ölüm-kalım mücadelesi verdiği bir sırada, Halife Hz. Ömer (radıyallâhu anh) onu azletmişti. Emri tebliğ vazifesi Muhammed b. Mesleme’ye verilmişti. Muhammed b. Mesleme, Halid’in başındaki sarığı boynuna takıp onu bu hâlde halifenin huzuruna getirivermişti.

Muhammed b. Mesleme, halifenin emrini kendisine tebliğ ettiği zaman asker, Halid adına kılıcını kınından sıyırıp halifeye karşı kıyam edebilirdi. Hâlbuki Halid, sarığını açıp boynuna takacak ve Muhammed b. Mesleme onu Medine’ye kadar o vaziyette götürecek kadar mütevazi ve civanmert bir insandı.

O gün Hz. Ömer, Halid’e hitaben şöyle demişti:

“Halid! Sen ordu kumandanısın. Orduya tayin edildiğin zaman şu kadar mal varlığın vardı. Bugün de servetine bakacağım. Daha öncekinden fazla bir şeyin varsa, onu iliklerini sökercesine senden alacağım!”

Ama Halid’in malının hesabı yapıldığı zaman, orduya intisap ettiği zamandakinden daha az bir mala sahip olduğu görülmüştü. O gün 20 bin dirhemi varsa bugün ancak 10 bin dirhemi vardı. Halid bu yönüyle de tertemiz olduğunu ispatlamıştı.

Hz. Ömer buna çok sevinmişti ama, bir mesele daha vardı; onun da mutlaka halledilmesi gerekmekteydi. Bu münasebetle de o Halid’e şöyle demiştir:

“Halid! Allah şahit ki seni çok seviyorum. Ama halk bütün zaferleri senin şahsında buluyor. Hâlbuki bize bu zaferleri ihsan eden Allah’tır. İnsanların şirke düşmesine meydan vermek istemiyorum. Ve bunun için de seni kumandanlıktan azlediyorum.”⁸

Halid, hiçbir itirazda bulunmaksızın şerefiyle ordusuna dönmüş; kumandan değil, ömrünün sonuna kadar bir nefer olarak savaşmaya devam etmişti.