את בית הכנסת בנה רבי ניסן בק, בשליחותו של הרבי הזקן מסאדיגורא, בנו-ממשיכו של הרבי מרוז'ין. ועל כך מספר הרב שניאור זלמן שניאורסון בספרו "זכרון ירושלים" אשר נדפס באותה עת:

ואז, רוח ה' צלחה על הרב הצדיק הקדוש אדמו"ר מוהר"ר אברהם יעקב נ"י מסאדאגורא, ויתעורר למלאות רצון אביו קדוש ישראל זצ"ל, ובכל כחו השתדל לטובת בנין בית הכנסת הזה, וישלח גם מכספו נדבה לה' על התחלת הבנין אשר החל הרב ניסן בק הנזכר לבנות. ובהשתדלות הרב ניסן הנזכר, נתעוררו רבים מאחינו נדיבי לב שרי הצדק, וביחוד הגביר הישיש המפורסם הר' יחזקאל ששון ז"ל מכלכותא באינדיא, ועוד גבירים רבים יושבי אירופא, ויאצילו מהונם לטובת הבנין הזה, להגדילו ולפארו בכל פאר. אך בכל זאת לא הספיקה די צורכי הבנין הגדול הזה, הדורש כסף רב, וההוצאות רבות הנה עד למאד, ולא עצר כח המשתדל הנכבד הנזכר לגמרו עד שנת תרל"א.

בשנת תרל"א, צלחה רוח ה' על הרב הצדיק הקדוש הנז', ויתעורר לגמור הבנין הנשגב הזה. וישלח איש מיוחד, וכסף בידו, להיות לעזר ולסעד להרב המשתדל, הרב ניסן ב"ק הי"ו, ויעשו חוזה עם הבונים והעושים במלאכה, להשלים את כל מלאכת הבית פנימה וחוצה. ועד עתה, כבר נגמרו כל הדברים הדרושים לתפארת הבית, חוצה ופנימה, משחו בששר וצבעו בצבעים שונים, למען יגדל תפארתו…

עיכובים שונים ומשונים מנעו אלת השלמת בנייתו של ביה"כ בימיו של הרבי מרוז'ין. ומסופר, כי באחד הימים הראו לו בחלומו את הפסוקים: "האתה תבנה לי בית לשבתי, והקימותי את זרעך אחריך וגו' הוא יבנה בית לשמי". היה זה רמז, כי הרבי בעצמו לא יזכה להשלים את הבנין, אלא בנו-ממשיכו הרבי הזקן מסאדיגורא.