يعود تاريخ بناء القصر إلى أواخر القرن الثامن عشر الميلادي حين أمر ملك اليمن الإمام المنصور على بن العباس وزيره علي بن صالح العماري (1736-1798) والذي اشتهر بالهندسة المعمارية والفلك، والشعر والأدب - أمره ببناء قصر في وادي ظهر ليكون قصرا صيفيا له. ويروي المؤرخون انه بني على أنقاض قصر سبئي قديم كان يعرف بحصن ذي سيدان الذي بناه الحميريون عام 3000 ق. م، ودمر الحصن على يد الأتراك في الغزو الأول لليمن وفضلوا أن يسكنوا في هذا الدار لفنه المعماري المتفرد به عن غيره والوادي الذي يشكل مع بقية المواقع والمناظر المحاطة به كحديقة وبستان لسكان وزوار هذا القصر التاريخي نتيجة لما تمتاز به هذه الأماكن الجميلة من الخضرة المستديمة بحيث أشتهر الوادي بزراعة العنب والفرسك والسفرجل بالإضافة إلى أشجار الدوم العملاقة والتي بدأت تتلاشى نتيجة التوسع في زراعة القات. كذلك يقال أن البلاد في فترة حكم الأتراك شهدت أمطار غزيرة أدت إلى تهدم الدار ولم يبق له أي أثر، بعد ذلك أتى إلى المنطقة الإمام عبد الله المنصور الذي أعاد بناء الثلاثة الأدوار بحجر حبش اسود وهو الموجود حالياً، ومن ثم سكن فيه وبعد موت الإمام عبد الله المنصور الإمام الناصر ويقال أنه في عهده قامت بعض الحروب والخلافات بينه وبين أهل همدان والذين قاموا بقتله وهو نائم على فراشه وأخذوه ودفنوه هو والحراسة التي كانت معه في منطقة تقع جنوب وادي ظهر ويقول أبناء المنطقة أن قبره موجود إلى الآن ومعروف لدى الجميع بعد موت الإمام الناصر كان الأئمة يتخوفون من سكن هذا الدار حتى أن الإمام يحي بنى بعض القصور الأخرى في الوادي ولكن سرعان ما غير رأيه بعد فترة وقام بترميم دار الحجر وبناء بعض الأدوار الإضافية من مادة الياجور وقام بإضافة بعض المرافق الأخرى مثل المفرج الذي كان يستقبل فيه الناس. كما قام الإمام ببناء جامع مجاور للدار وكتب على بابه "بناه لله المتوكل على الله" وهو موجود إلى الآن.
