論文の概要: Not All Task Vectors Need Equal Rank: Energy-Proportional Allocation for Model Merging

• arxiv url: http://arxiv.org/abs/2609.24517v1
• Date: Mon, 21 Sep 2026 12:54:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.289438
• Title: Not All Task Vectors Need Equal Rank: Energy-Proportional Allocation for Model Merging
• Title（参考訳）: すべてのタスクベクトルが同等のランクが必要な訳ではない:モデルマージのためのエネルギー的割当
• Abstract要約: 本稿では,各タスクベクトルの特異値エネルギー構造に応じてランクを割り当てる簡単なタスク適応戦略を提案する。 実験により,SERAは既存のスペクトルマージ法と同じ総ランク予算を維持しつつ,マルチタスクマージ性能を向上させることが示された。
• 参考スコア（独自算出の注目度）: 3.821323038670061
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging aims to combine multiple fine-tuned models derived from a common pretrained model into a single multi-task model without additional joint training. Recent spectral merging methods improve over simple weight averaging by exploiting low-rank structures of task-specific updates, but they commonly assign the same rank capacity to every task. This uniform allocation ignores that task vectors can have heterogeneous spectral complexity, causing the shared merging space to be used suboptimally. In this paper, we propose Spectral Energy-proportional Rank Allocation (SERA), a simple task-adaptive strategy that allocates ranks according to the singular-value energy structure of each task vector. By assigning richer spectral capacity to complex or isolated tasks and fewer directions to compact tasks, SERA extends SVD-based model merging from uniform-capacity merging to task-dependent capacity allocation. Experiments under standard vision model merging protocols show that SERA improves multi-task merging performance while preserving the same total rank budget as existing spectral merging methods. Further analysis demonstrates that task-level spectral concentration is closely related to the per-task effect of adaptive rank allocation, providing insight into when and why SERA is effective.
• Abstract（参考訳）: モデルマージは、共通の事前訓練モデルから派生した複数の微調整モデルと、追加のジョイントトレーニングなしで単一のマルチタスクモデルを組み合わせることを目的としている。 最近のスペクトルマージ手法は、タスク固有の更新の低ランク構造を活用することで、単純なウェイト平均よりも改善されているが、通常、各タスクに同じランクのキャパシティを割り当てる。 この均一な割り当ては、タスクベクトルが不均一なスペクトル複雑性を持つ可能性があることを無視し、共有マージ空間を亜最適に使用する。 本稿では、各タスクベクトルの特異値エネルギー構造に応じてランクを割り当てる単純なタスク適応戦略であるスペクトルエネルギー比ランク割り当て(SERA)を提案する。 複雑なタスクや孤立したタスクによりリッチなスペクトル容量を割り当て、より少ない方向をコンパクトなタスクに割り当てることにより、SERAはSVDベースのモデルを拡張し、一様容量のマージからタスク依存のキャパシティアロケーションにマージする。 標準的な視覚モデルマージプロトコルによる実験では、SERAは既存のスペクトルマージ手法と同じ総ランクの予算を維持しながら、マルチタスクマージ性能を改善している。 さらに分析したところ、タスクレベルのスペクトル濃度は適応的なランク割り当てのタスクごとの効果と密接に関連していることが示され、SERAが有効である時期と理由についての洞察が得られた。

関連論文リスト

• PACT: Preserving Anchored Cores in Task-vectors for Model Merging [68.52455853496585]
  モデルマージは、複数のタスク固有の細調整されたモデルを単一のマルチタスクモデルに結合することを目的としている。 既存のモデルマージアプローチのほとんどは、Task Arithmeticパラダイムに従っています。 本研究では,タスクベクトル内の固定されたタスク固有コア(LBW次元)を,事前学習した重みのサブ空間と補間を整合させることにより保存するPACTを提案する。
  論文  参考訳（メタデータ） (2026-06-17T02:48:35Z)
• Model Merging in the Essential Subspace [78.5390284258307]
  モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。 広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。 効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
  論文  参考訳（メタデータ） (2026-02-23T00:33:38Z)
• Purifying Task Vectors in Knowledge-Aware Subspace for Model Merging [83.5273168208788]
  モデルマージは、個別に調整されたモデルのタスク固有の能力を、余分なトレーニングなしで単一のモデルに統合することを目的としている。 統合モデルは、タスクベクトルのタスク非関連冗長性に起因する競合により、しばしば顕著なパフォーマンス劣化に悩まされる。 本稿では,これらの課題を克服するために,知識対応サブ空間におけるTAsk Vectors (PAVE) の純粋化を提案する。
  論文  参考訳（メタデータ） (2025-10-16T14:02:57Z)
• ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation [96.86211867758652]
  Low-Rank Adaptation (LoRA) は、基礎モデルの下流の微調整に広く採用されている。 タスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTanoRAを提案する。
  論文  参考訳（メタデータ） (2025-05-24T11:01:45Z)
• AdaRank: Adaptive Rank Pruning for Enhanced Model Merging [23.649762835129167]
  モデルマージは、独立して微調整されたモデルを統合されたフレームワークに統合するための有望なアプローチとして現れている。 AdaRankは、タスクベクトルの最も有用な特異な方向を適応的に選択し、複数のモデルをマージする新しいモデルマージフレームワークである。 AdaRankは、さまざまなバックボーンとタスク数で一貫して最先端のパフォーマンスを実現し、微調整されたモデル間のパフォーマンスギャップを1%近く削減している。
  論文  参考訳（メタデータ） (2025-03-28T06:49:06Z)
• No Task Left Behind: Isotropic Model Merging with Common and Task-Specific Subspaces [17.69597528370121]
  モデルマージは、複数のタスク固有のモデルの重みを単一のマルチタスクモデルに統合する。 この問題に対する最近の関心にもかかわらず、シングルタスクモデルと組み合わせたモデルの間には大きなパフォーマンスギャップが残っている。 タスク固有成分とマージ行列の特異成分のアライメントは,性能改善と強く相関していることを示す。
  論文  参考訳（メタデータ） (2025-02-07T14:22:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。