論文の概要: GRAM: Group-wise Rank-Aware Model Merging via Subspace Alignment

• arxiv url: http://arxiv.org/abs/2610.29110v1
• Date: Wed, 21 Oct 2026 02:50:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.227237
• Title: GRAM: Group-wise Rank-Aware Model Merging via Subspace Alignment
• Title（参考訳）: GRAM:サブスペースアライメントによるグループワイドランクアウェアモデルマージ
• Abstract要約: 既存の手法は全てのタスクに一様マージを適用し、学習した部分空間間の幾何学的関係を無視している。 本稿では,各タスクと共有部分空間の主角アライメントによって,統合モデルのタスク毎の投影誤差が支配されることを示す。 本研究の目的は,タスクベクトルの主角幾何学を用いて,どのタスクをマージすべきかを判断する,textbfGroup-wise Rank-Aware Model Merging (GRAM)を提案することである。
• 参考スコア（独自算出の注目度）: 3.4219049032524804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Merging different models into a single model is highly desirable for multi-task deployment, particularly in regulated domains like healthcare. In such settings, models are often locally fine-tuned due to strict data privacy policies, necessitating that aggregation operates exclusively on the fine-tuned weights. Existing methods apply a uniform merge across all tasks, ignoring the geometric relationships among their learned subspaces. When task updates occupy misaligned subspaces, projecting them onto a shared low-rank basis discards task-relevant directions, a failure mode named \emph{subspace interference}. Through this study, we show that the per-task projection error of a merged model is governed by the principal-angle alignment between each task and the shared subspace, so that grouping geometrically compatible tasks provably reduces this error within each group. Motivated by this observation, we propose \textbf{Group-wise Rank-Aware Model Merging (GRAM)}, which uses the principal-angle geometry of task vectors to decide which tasks should be merged together and then performs a standard SVD-based merge within each coalition; the pipeline requires only the fine-tuned weights at merge time. With only one additional model ($\nK{=}2$), GRAM significantly mitigates subspace interference and consistently outperforms prior merging methods across language understanding (GLUE with Flan-T5), 8-task CLIP vision, and medical instruction tuning (Qwen2-7B-Instruct with four English/Chinese medical LoRAs).
• Abstract（参考訳）: 異なるモデルを単一のモデルにマージすることは、特にヘルスケアのような規制されたドメインにおいて、マルチタスクデプロイメントに非常に望ましい。 このような設定では、モデルはしばしば厳密なデータプライバシーポリシーのために局所的に微調整される。 既存の手法は全てのタスクに一様マージを適用し、学習した部分空間間の幾何学的関係を無視している。 タスク更新が不整合部分空間を占有し、共有された低ランクベースに投影すると、タスク関連方向を破棄する。 本研究では,各タスクと共有部分空間間の主角アライメントによって,統合モデルのタスク毎の投影誤差が制御されることを示し,幾何学的に整合したタスクをグループ化することで,各グループ内でこの誤差を確実に低減できることを示す。 本研究の目的は,タスクベクトルの主角幾何を用いて,どのタスクをマージすべきかを判断し,各アライアンス内で標準のSVDベースのマージを実行することであり,パイプラインはマージ時の微調整のみを必要とする。 1つの追加モデル($\nK{=}2$)だけで、GRAMはサブスペース干渉を著しく軽減し、言語理解(GLUE with Flan-T5)、8タスクのCLIPビジョン、医療指導チューニング(Qwen2-7B-Instruct with four English/ Chinese Medical LoRAs)を横断する事前マージ手法を一貫して上回る。

関連論文リスト

• PACT: Preserving Anchored Cores in Task-vectors for Model Merging [68.52455853496585]
  モデルマージは、複数のタスク固有の細調整されたモデルを単一のマルチタスクモデルに結合することを目的としている。 既存のモデルマージアプローチのほとんどは、Task Arithmeticパラダイムに従っています。 本研究では,タスクベクトル内の固定されたタスク固有コア(LBW次元)を,事前学習した重みのサブ空間と補間を整合させることにより保存するPACTを提案する。
  論文  参考訳（メタデータ） (2026-06-17T02:48:35Z)
• DC-Merge: Improving Model Merging with Directional Consistency [62.02490833158024]
  DC-Mergeは方向整合モデルマージの手法である。 各タスクベクトルのエネルギー分布は、その特異値を滑らかにすることで均衡する。 ビジョンとビジョン言語ベンチマークの実験では、DC-Mergeは一貫して最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-03-06T13:04:25Z)
• Bridging Domains through Subspace-Aware Model Merging [27.981999508897847]
  モデルマージは複数のタスク固有のモデルを単一の統合モデルに統合する。 最近の研究は、分散やマルチタスクのシナリオにおけるマージ性能の改善に進歩している。 異なる領域に微調整されたモデルが、目に見えない領域への一般化にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2026-03-06T00:04:24Z)
• Model Merging in the Essential Subspace [78.5390284258307]
  モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。 広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。 効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
  論文  参考訳（メタデータ） (2026-02-23T00:33:38Z)
• Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging [38.12136955174922]
  個別タスクのための微調整された大規模言語モデル(LM)は、高いパフォーマンスをもたらすが、デプロイメントやストレージには高価である。 最近の研究は、複数のタスク固有のモデルを追加トレーニングなしで単一のマルチタスクモデルに結合するモデルマージについて検討している。 既存のマージ方式は、性能劣化のためにローランク適応(LoRA)を微調整したモデルでは失敗することが多い。
  論文  参考訳（メタデータ） (2025-05-28T23:28:12Z)
• Merging by Matching Models in Task Parameter Subspaces [87.8712523378141]
  モデルマージは、個々のタスク固有のモデルを単一のマルチタスクモデルに安価に結合することを目的としている。 我々は、モデルマージに対するこのアプローチが、方程式の線形系を解くとみなす方法を定式化する。 共役勾配法は閉形式解より優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-07T14:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。