بناي حرمسرا در يك كيلومتري جنوب شرقي كاروانسراي قصر بهرام قرار گرفته كه ظاهرا در هنگام مسافرت خاندان سلطنتي به عنوان حرمسرا و در ساير مواقع به عنوان محل سكونت شكارچيان بوده است. بناي حرمسرا نيز مانند بناي كاروانسراي عين الرشيد آسيب ديده ولي بقاياي موجود نشان مي دهد بنا بر روي زمين شيب دار استقرار يافته و داراي حياط مربع شكل با تالارهايي در سه طرف آن بوده است.

در امتداد مسير شاهراه اصفهان-ساري كاروانيان بعد از گذشتن از كاروانسراي قصر بهرام به باتلاق ها و نمك زارهاي جنوب گرمسار برخورد مي نمودند كه با احداث جاده سنگفرش به طول 35 كيلومتر و عرض 5 متر كاروانيان با سهولت و سرعت بيشتري خود را به منازل بعدي مي رساندند. اين جاده همچنان پاربرجا و استوار در دل كوير به اميد ديدار دوباره جهانگردان و ايرانگردان نشسته است.

گرمسار يكي از شهرستان هاي مهم استان سمنان است از شمال با دماوند، از جنوب با اردستان و كاشان، از شرق با سمنان و از غرب با ورامين و قم همسايه است. بيش تر جاذبه هاي تاريخي شهرستان گرمسار را مكان هاي مذهبي تشكيل مي دهند. در كنار مكان هاي مذهبي برخي از عمارت هاي تاريخي نيز همچون قصرهاي سياه كوه كه از چندين قصر قديمي تشكيل شده از مهم ترين ديدني هاي گرمسار است.

در اواسط خيابان حكيم الهي، بين محله كوشمغان و زاوغان سمنان، برج كهنه قديمي و نيمه مخروبه اي وجود دارد كه به نام برج چهل دختر يا چهل دختران ناميده مي شود.