देश का प्रधानमंत्री बनने के बाद लालबहादुर शास्त्री किसी भी सूरत में तीन मूर्ति भवन में रहने के पक्ष में नहीं थे। पंडित जवाहरलाल नेहरू की मृत्यु के बाद तीन मूर्ति भवन लालबहादुर शास्त्री को आवंटित हुआ। लेकिन उन्होंने वहां शिफ्ट करने से मना कर दिया था। शास्त्रीजी तीन मूर्ति भवन में मोटे तौर पर दो कारणों के चलते जाने के लिए तैयार नहीं थे। पहला, शास्त्रीजी का तर्क था कि वे जिस पृष्ठभूमि से आते हैं, उसे देखते हुए उनका तीन मूर्ति में रहना ठीक नहीं रहेगा। दूसरा, वे तीन मूर्ति भवन में इस आधार पर भी जाने के लिए राजी नहीं हुए क्योंकि वे मानते थे कि देश तीन मूर्ति भवन को नेहरूजी से भावनात्मक रूप से जोड़कर देखता है इसलिए वहां पर उनका कोई स्मारक बने।
यह जानकारी शास्त्रीजी की पत्नी ललिता शास्त्री ने खुद इस लेखक को 1988 में अपने जनपथ स्थित आवास में दी थी। शास्त्रीजी के तीन मूर्ति भवन में शिफ्ट करने से इंकार करने के बाद सरकार ने उसे नेहरू स्मारक में तब्दील कर दिया। हालांकि कहने वाले कहते हैं कि तीन मूर्ति भवन पीएम हाउस के लिए सबसे मुफीद रहता। ये राजधानी के बीचों-बीच होने के अलावा संसद भवन और केंद्रीय सचिवालय के भी बहुत करीब है। विशाल क्षेत्र में फैला होने के कारण यहां पीएम हाउस में काम करने वाले अधिकतर मुलाजिमों के रहने की भी व्यवस्था की जा सकती थी।
कनॉट प्लेस के आर्किटेक्ट रॉबर्ट टोर रसेल ने ही इसका डिजाइन तैयार किया था। अपने पति की 11 जनवरी 1966 को ताशकंद में मृत्यु के बाद ललिता शास्त्री उसी जनपथ स्थित बंगले में रहती रहीं, जो शास्त्रीजी को प्रधानमंत्री के रूप में मिला हुआ था। शास्त्रीजी की मौत के बाद यह बंगला उनकी पत्नी ललिता शास्त्रीजी को आवंटित कर दिया गया। वह 1993 तक यानी अपनी मृत्यु तक उसमें रहीं। फिर वहां पर शास्त्रीजी का स्मारक बना दिया गया।