養老-伊勢湾断層による
逆断層活動によって形成された山地である。養老-伊勢湾断層を境に西の養老山地側は隆起し、東の濃尾平野側は沈降を続けている。これは
濃尾傾動運動に伴う断層運動であり、約200万年前の地層を観察すると養老山地に当たる地域が平坦だったことがわかるため、この断層運動は約100万年前から開始していると考えられている。現在も断層運動は継続しており、運動速度は年平均0.5mm - 1mmと推計されている。現在では養老山地と濃尾平野基盤の段差が2000m-2500mに達している。
養老山地の東端は急傾斜の断層崖であり、崩壊が進んでいるため、
扇状地の発達が著しく、大小約30の扇状地が生成されている。一方山地の西側は
員弁川河谷に向かって緩傾斜地形をなしている。これは、養老山地の東端が隆起を続けているので、山塊全体が西側へ傾動していることによる。
養老山地の名称は、
717年の
養老改元に由来する。同年9月、
元正天皇が美濃国へ行幸し、当耆郡多度山にて泉の水を飲んだところたちまち健康を回復したことから、同年11月、
霊亀から養老へ改元した。天皇が飲んだ泉を特定することはできないが、山地東麓の滝がその泉に比定されるようになり、
養老の滝と称せられた。その直上の峰は、もと多芸山と呼ばれていたが、いつ頃からか養老山と呼ばれるようになり、それが山地全体の名称にもなった。