山西，顾名思义，意为大山之西，即地处太行山之西。山西古称河东，意为大河之东，即地处黄河之东。
山西简称晋，是因为西周、春秋时期为晋国之地。春秋末年，韩、赵、魏三家卿大夫把晋国一分为三，所以历史上又把韩、赵、魏三个诸侯国并称为“三晋”；又因其领地主要在今天的山西境内，故“三晋”又成为山西的别称。
元代属中书省，置河东山西省道；明朝置山西布政使司；清代设山西省。所以，“山西”成为正式的行政区划名称是从元朝开始的。
《史记》中记载了这样一个故事：有一天，周成王和他的弟弟叔虞在一起玩。成王从地上捡起一片桐叶，剪成玉珪的形状递给叔虞，说：“拿这个封你做诸侯吧！”这话被站在一旁的史官记录了下来。过了几天，当史官请成王选择吉日正式封叔虞为侯时，成王却说：“我只是和他开个玩笑啊！哪里是真的呢！”史官认真的说：“天子无戏言，说了话就要算数的。”于是，成王便将刚刚灭掉的古唐国（今翼城、曲沃、绛县之间）封给了叔虞。史书上因此称叔虞为唐叔虞。事实上，叔虞是因为在平定古唐国的叛乱中立下赫赫战功，才得到唐这块封地的。
唐叔虞死后，他的儿子燮父即位，改国号为晋。这就是山西简称为“晋”的由来。