元禄5年に幕府は飛騨を幕府直轄領とした。金森氏を出羽に移封させた。金森氏の館を御役所、郡代役宅、御蔵を併せ『高山陣屋』とした。