مسجد کی تعمیر نہایت ضروری تھی حضور صلی اﷲ تعالیٰ علیہ وسلم کی قیام گاہ کے قریب ہی ''بنو النجار'' کا ایک باغ تھا۔ آپ صلی اللہ تعالیٰ علیہ والہ وسلم نے مسجد تعمیر کرنے کے لئے اس باغ کو قیمت دے کر خریدنا چاہا۔ ان لوگوں نے یہ کہہ کر '' یا رسول اﷲ!صلی اﷲ تعالیٰ علیہ وسلم ہم خدا ہی سے اس کی قیمت (اجرو ثواب)لیں گے۔'' مفت میں زمین مسجد کی تعمیر کے لئے پیش کر دی لیکن چونکہ یہ زمین اصل میں دو یتیموں کی تھی آپ صلی اللہ تعالیٰ علیہ والہ وسلم نے ان دونوں یتیم بچوں کو بلا بھیجا ۔ ان یتیم بچوں نے بھی زمین مسجد کے لئے نذر کرنی چاہی مگر حضور سرورِ عالم صلی اﷲ تعالیٰ علیہ وسلم نے اس کو پسند نہیں فرمایا۔اس لئے حضرت ابوبکر صدیق رضی اﷲ تعالیٰ عنہ کے مال سے آپ نے اس کی قیمت ادا فرما دی ۔(1) (مدارج النبوۃ، ج۲ ،ص۶۸)
اس زمین میں چند درخت، کچھ کھنڈرات اور کچھ مشرکوں کی قبریں تھیں۔ آپ نے درختوں کے کاٹنے اور مشرکین کی قبروں کو کھود کر پھینک دینے کا حکم دیا۔ پھر زمین کو ہموار کرکے خود آپ نے اپنے دست مبارک سے مسجد کی بنیاد ڈالی اور کچی اینٹوں کی دیوار اور کھجور کے ستونوں پر کھجور کی پتیوں سے چھت بنائی جو بارش میں ٹپکتی تھی۔ اس مسجد کی تعمیر میں صحابہ کرام رضی اللہ تعالیٰ عنہم کے ساتھ خود حضور صلی اﷲ تعالیٰ علیہ وسلم بھی اینٹیں اٹھا اٹھا کر لاتے تھے اور صحابہ کرام رضی اللہ تعالیٰ عنہم کو جوش دلانے کے لئے ان کے ساتھ آواز ملا کر حضور صلی اﷲ تعالیٰ علیہ وسلم رجز کا یہ شعر پڑھتے تھے کہ ؎