高山陣屋如同中國古代之衙門高山陣屋建於西元1615年,為江戶時代之地方官政辦公場所,此原本是高山城主金森家的房子,幕府主政後,代幕府在飛驒地區視事人員就以此為行政中心,改為陣屋,還政天皇後的明治時期,政府於此辦公,算起來已有數百年高山陣屋是高山的權利象徵。