چنانچہ آپ روتے ہوئے دیوار سے اتر پڑے اور رات کو ایک سنسان اور بے آباد کھنڈر نما مکان میں جاکر بیٹھ گئے ۔ تھوڑی دیر بعد وہاں ایک قافلہ پہنچا تو شرکائے قافلہ آپس میں کہنے لگے کہ،''رات کو سفر مت کرو ، یہاں رک جاؤ کہ فضیل بن عیاض ڈاکو اسی اطراف میں رہتا ہے ۔'' آپ نے قافلے والوں کی باتیں سنیں تو اور زیادہ رونے لگے کہ ،''افسوس ! میں کتنا گناہ گار ہوں کہ میرے خوف سے امتِ رسول اکے قافلے رات میں سفر نہیں کرتے اور گھروں میں عورتیں میرا نام لے کر بچوں کو ڈراتی ہیں ۔''
آپ مسلسل روتے رہے یہاں تک کہ صبح ہوگئی اور آپ نے سچی توبہ کر کے یہ ارادہ کیا کہ اب ساری زندگی کعبۃ اللہ کی مجاوری اور اللہ تعالیٰ کی عبادت میں گزاروں گا ۔ چنانچہ آپ نے پہلے علمِ حدیث پڑھنا شروع کیا اور تھوڑے ہی عرصے میں ایک صاحبِ فضیلت محدث ہوگئے اور حدیث کا درس دینا بھی شروع کر دیا ۔(اولیائے رجال الحدیث ص۲۰۶ )