南に富士山、西に赤石山脈（南アルプス）、北に八ヶ岳、東に奥秩父山地など、海抜2000ｍを超す山々に囲まれる。海洋国家といわれる日本において、内陸側に位置する数少ない県である。
都道府県面積は全国32位だが、山梨県はその8割を山が占めるため「海なし・山あり」とも呼ばれる。「山があるのに山無し県（山梨県）、海が無いのに貝の国（甲斐の国）」という囃し文句も存在する。
往来が比較的容易で、交通路も整備されている東京都（除島嶼）、神奈川県津久井地区、長野県中・南信地方、静岡県大井川以東の三方との交流が、古くから盛んである。又、埼玉県秩父地方との境には奥秩父山塊に隔てられているが、1998年の国道140号雁坂トンネル開通により、自動車やバスでの直接往来が可能となり、今後は交流の活性化が期待されている。なお、山梨県と静岡県を併称する場合は、山静（さんせい、やましず）や甲駿（こうすん）という。
県域は、西半部の甲府盆地を中心とする国中（くになか）と、東半部の桂川（相模川）と多摩川の上流域および富士山北麓からなる郡内とに大きく分けられ、両者は方言（東半部、特に大月や上野原はどちらかと言えば西関東方言に近い）や自然環境面でも文化的にも性格を異にする点が少なくない。