اگرچه کاروانسراهای شاه عباسی در بیشتر نقاط ایران بنا شده اند اما در گرمسار در کنار این کاروانسراها یک بنای خشت و گلی باشکوه هم وجود داشته که حرمسرا نام دارد.

این قصر که در یک کیلومترى جنوب شرقى قصر شاه‌عباسى یا قصر بهرام قرار دارد، یکی از بناهای صفوی است که البته امروز بیشتر بخش های آن تخریب شده است.

این بنا در هنگام مسافرت خاندان سلطنتى محل استقرار همسران شاه بود اما در سایر مواقع به عنوان محل سکونت شکارچیان سلطنتى استفاده می شد.

ایوان ورودى از طرف شرق به اتاقى به طول چهار و نیم متر و عرض حدود سه متر راه دارد و از آن جا به تالارى بزرگ به طول 12و نیم متر و عرض چهار و نیم متر می رسد. این تالار با تاقچه و بخارى دیوارى دودکش‌دار تزئین شده و در طرف غرب ایوان ورودى یک تالار بسته به طول 15 متر و عرض بیش از 4متر ساخته شده که در آن سه در به ایوان و دو در به خارج باز مى‌شود.

در قدیم در جنوب غرب حرمسرا باز هم یک تالار بزرگ قرار داشته و دو ایوان به چشم می خورده است. دو ایوان مقابل دو اتاق‌ که ظاهرا بعدا به بنا اضافه شده اند. البته امروز تالارهاى موجود در ضلع شمالى کاملاً از بین رفته اند که دلیل این انهدام مشخص نیست.

در حرمسراها، حوضچه و استخر جزء جدا نشدنی معماری هستند و در این بنا، برای تامین آب مورد نیاز، از چشمه‌هایی که در دامنه سیاه کوه قرار داشتند استفاده می شد. آب این چشمه ها با یک کانال به حرمسرا می آمد و در مسیر خود از یک دره عبور کرده و به استخرى در بیرون جبهه جنوبى حرمسرا مى‌رسید و پس از پر کردن آن از طریق کانالى دیگر به حوضى در داخل حرمسرا منتقل مى‌شد.

استخر بیرون حرمسرا بیشتر از 9متر طول، ۸ متر عرض و حداقل یک و نیم متر عمق دارد. کانال آب از وسط استخر به طرف در ورودى و از آنجا به حیاط و بالاخره پس از عبور از حوض داخل حیاط حرمسرا به طرف عباس‌آباد و سیاه‌کوه مى‌رفت. امروز اگر سری به این بنا بزنید می توانید هنوز هم آثاری از کانال را ببینید.