Дворец, называвшийся Среднерогатским, получил свое название оттого, что тут находились шлагбаум, или, как тогда говорили, рогатка, и сторожевая будка с караульными. Таких рогаток на пути находилось три: первая у городской заставы, вторая (средняя) — около дворца и третья — на прудовой мельничной плотине под Пулковской горой. Ставили их в петровское время для «препятствия проходу злонамеренных людей»: беглых солдат и крепостных, пытавшихся уйти из Петербурга; извозчиков, нарушавших царский указ о привозе на каждой подводе трех камней для мощения петербургских улиц, и тех городских жителей, которые хотели выехать без разрешения.

Тридцать лет после Петра Великого Среднерогатский дворец не использовался, пришел в упадок. В 1743 г. покосившееся строение у «Средней рогатки» сломали и построили на его месте большое деревянное здание со многими пристройками, в том числе с кухней.

8 ноября 1750 г. последовал приказ построить на Царскосельской першпективе вместо деревянного каменное здание. 28 февраля придворный архитектор Ф.-Б. Растрелли представил проект дворца. Весной 1751 г. на правой стороне дороги начал строиться третий Среднерогатский дворец. При этом «второй» Среднерогатский дворец, на левой стороне, не сносили. 17 апреля 1754 г. строительство было завершено. Одноэтажный, на высоком полуподвале, путевой дворец имел пятнадцать комнат и большой зал. Внутреннюю отделку не стали делать особо роскошной, хотя во дворце была изящная лепнина, на стенах были наклеены бумажные голландские обои. Из Царскосельского дворца сюда были привезены три зеркала и бронзовые подсвечники для каждой комнаты.

Император Павел I приказал из Среднерогатского дворца сделать почтовую станцию. Полуразвалившийся «второй» Среднерогатский деревянный дворец, на левой стороне дороги, снесли 25 июня 1791 г., а место это выровняли и почистили.

Летом 1816 г. здесь был поставлен верстовый столб с изображениями четырех рук, указывающими направление дорог на Москву, Царское Село, Петергоф и Петербург. С тех пор Среднерогатский дворец в народе получил название «Дворец у четырех рук». В 1831 г. здание отремонтировали, несколько перестроили. В нем разместился трактир. Еще через 20 лет, в 1850 г., дворец был продан под фабрику типографской краски и чернил.

В 1925 г. Среднерогатский дворец пережил пожар, его еще раз перестроили, надстроили второй этаж. В результате величественный дворец и вовсе стал похож на богадельню.

При создании современной Площади Победы дворец не вписался в проект. Он стоял, обращенный главным фасадом к Московскому проспекту, а к парадной площади оказывался боком. Было принято решение снести Среднерогатский дворец, возвести его копию на новом месте, непосредственно на Площади Победы, развернув его на 45 градусов. Дворец был обмерен, резные капители изящной работы с фасада дворца демонтировали и сохранили. В 1971 г. Расстреллиевский дворец на Средней Рогатке был снесен. Воссоздавать его не стали.