東北地方の県のひとつで、日本海に面する。県庁所在地は山形市。県域を地図で見ると人間の顔の形をしている。
県の東側一帯で宮城県との境に奥羽山脈、県の西部に朝日連峰がそびえているように、県域の大半を山地が占め、中央を最上川が流れる。県民の多くがこの川の流域に住んでいるため、「母なる川」とも呼ばれている。
北西側の日本海上には県唯一の離島、飛島がある。
出羽国の南部にあたる地域。
古くは越後国と陸奥国の一部であったが、和銅元年（708）出羽（いでは）郡が置かれ、和銅5年（712）陸奥の国から最上、置賜の2郡を分けて出羽郡に合併し、出羽国が設けられ、庄内に国府が置かれた。県名は、山の近くという意味の町名、山形に由来すると言う。
室町時代には陸奥国の奥州探題・斯波氏が分派して山形に住み着き、地名を取って最上氏と称した。 また、室町時代初期に陸奥国伊達郡を拠点としていた伊達氏が置賜地方に侵攻し長井氏を滅ぼし支配下においた。
戦国時代は最上地方の最上氏、置賜地方の伊達氏（天文の乱の後、本拠を伊達郡から米澤に移した）、庄内の大宝寺氏が割拠した。最上氏は最上義光、伊達氏は伊達政宗の名将が登場し、一大版図を築いた。関が原の戦いにおいては、会津・上杉軍と山形・最上氏との間で激戦が繰り広げられた。（長谷堂の戦い）
江戸時代には庄内藩そして現在の酒田市にある支城の亀ヶ崎城、米沢藩、米沢新田藩、新庄藩、山形藩、上山藩、（出羽）松山藩（→松嶺）、天童藩、長瀞藩の各藩があった。
明治時代の地方区分では、羽前国全域と、羽後国の飽海郡が、現在の山形県に相当する。