开远门是隋大兴城的十二个城门之一，是大兴城西侧城墙北起的第一个城门。隋朝灭亡以后，唐朝原样继承了大兴城，改城名为长安。此外，把开远门的名字也改了，改成了安远门。今天西安老城的北门也叫安远门，为了避免和现在的安远门冲突，所以我们称呼开远门时一律按照隋朝的叫法。
从隋唐长安城的平面图上可以清晰看到，开远门在长安西北角，东边正对着皇城的安福门。长安城正冲皇城的门并不多，只有三个。在东边是通化门，南边是明德门，西边就是开远门。因为正对皇城，所以它的地位要高于其他不与皇城正对的城门。隋唐时，皇帝进出长安城，只走正对皇城的城门，不走偏门。所以开远门也可以说是皇帝从西侧进出长安城的必经之路。
因为是皇帝经常走的路，所以开远门到安福门中间这一条大街两边的住户都是非富即贵。比如隋朝的宰相高颖，就住在今天安远门东南边的蓝天小区一带。再比如唐朝的开国名臣徐茂公，就住在开远门东北边的中国西电智能电气研究所一带。
开远门向西，是隋唐两朝通往西域的大路。隋唐两朝将军出征，使臣出访，皇室都要送行，因此都出此门。出开远门后能看到一块石碑，上书九个大字：“西极道九千九百里”。九千九百里是个虚数，意思跟“万里”差不多。它只说九千九百，不说万里，既是不把话说满，也是表达“无限”的意思。这个“无限”的意思，对应的是城门的名称。城门隋朝叫开远，唐朝叫安远。开远是开多远，安远是安多远呢？九千九百里，就是无限远。开也是无限远，安也是无限远。
因为使臣出访都走开远门，因此开远门也被视为是隋唐丝绸之路的起点。1984年的时候，为了纪念丝绸之路2100周年（公元前114年~公元1987年），当地政府请了西安美院的雕塑名家马改户教授，在开远门外不到一公里的地方建了一座丝绸之路群雕，如今已成西安一景。
隋唐开远门今已不存。唐末天下大乱，军阀韩建镇守长安，认为长安太大不好防守，便缩建长安城。建新城用的城砖，都是从旧城墙上拆下。旧城的城砖全被拆走后，只留下中间的夯土墙心。开远门的墙砖全部被拆除之后，只剩下两边的夯土，成为一个土门。今天莲湖区的土门街道，最早叫大土门村。土门两字，指的就是安远门的夯土遗址。该夯土遗址在清末民初时还有残存，解放后当地开辟交通，建设工厂，遗址就被推平消失了。