隨州的“隨”最早出于西周“漢東之國隨為大”，隋書當時隨國為一諸侯國，附庸在楚國之下，附近有陳國、蔡國、唐國等。自西周后，“隨”這一古地名得以流傳下來。

《隋書》卷五十《龐晃傳》云：“……時高祖出為隨州刺史，路經襄陽，衛王令〔龐〕晃詣高祖。……”這里的“隨州刺史”，就是現位于湖北北部、桐柏山脈以南的“隨州市”。周武帝即位時，楊堅“遷左小宮伯。出隨州刺史，進位大將軍。后征還，遇皇妣寢疾三年，晝夜不離左右，代稱純孝。宇文護執政，尤忌高祖，屢將害焉，大將軍侯伏、侯壽等匡護得免。其后襲爵隋國公。”這里的“襲爵”要特別說明一下，“爵”是北周封楊堅之父楊忠“隨國公”的“爵”。可以毫不夸張的說，楊堅發跡就是在隨州（當然這也是很正常的，自秦后，各“王公”都有自己的封地，有自己的諸侯王國，楊堅的父親楊忠的封地在隨州，他兒子在隨州能夠得到人民的支持，取得武功是占了“人和”的因素），他的封號也是以封地“隨州”為名的，這就解釋了楊堅為何建“隋朝”的原因（楊堅奪位后立國號為“隨”，他以自己曾受封于隨，因以為國號，又忌惡“隨”字帶“走”旁，恐不祥遂改為“隋”。同年，隨州改為“隋州”。中國歷史上統一王朝把州郡名的文字拆去偏旁而為國號，這是僅有的一次。）。

公元581年二月甲子日，周靜帝以楊堅眾望有歸下詔宣布禪讓。楊堅三讓而受天命，自相府常服入宮，備禮即皇帝位于臨光殿，定國號隋，改元開皇，是為隋文帝。

隋朝建立之初，即著手改革地方行政制度，按照“存要去閑，并小為大”的原則，把北朝的州、郡、縣三級改為州、縣二級，煬帝大業三年（607年）又改州為郡。隨州改置為漢東郡，領隨、土山、安貴、順義、光化、平林、上明、唐城等8縣。然而，隋王朝國祚短促，漢東郡在隋的地位和發展尚未充分顯現出來。