論文の概要: Learning to Recover Task Experts from a Multi-Task Merged Model
- arxiv url: http://arxiv.org/abs/2606.26902v1
- Date: Thu, 25 Jun 2026 11:34:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.258657
- Title: Learning to Recover Task Experts from a Multi-Task Merged Model
- Title（参考訳）: マルチタスクマージモデルからタスクエキスパートを復元する学習
- Abstract要約: マルチタスクモデルマージは、複数のタスク固有の専門家を統一モデルに統合することを目的としているが、静的マージはパラメータ干渉に常に悩まされている。
このようなパラメータ摂動はアフィン変換としてモデル化でき、加算オフセットとして近似することができる。
Recover Task eXpert(Re)は、パラメータ干渉を解き、単一のマージされたチェックポイントからタスクエキスパートのパフォーマンスを回復するために、これらのオフセットを予測するフレームワークである。
- 参考スコア（独自算出の注目度）: 15.553883607402438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-task model merging aims to consolidate several task-specific experts into a unified model, yet static merging consistently suffers from parameter interference. While dynamic merging models aim to bridge this gap, many works rely on the costly storage and loading of redundant expert components at inference. In this work, from the perspective of task expert, we view parameter interference as parameter perturbation introduced to each expert during merging process. We show that such parameter perturbations can be modeled as affine transformation, which can be approximated as additive offsets. Motivated by these, we propose Recover Task eXpert (ReTeX), a framework that predicts those offsets, in order to undo parameter interference and recover task-expert performance from a single merged checkpoint. To recover the appropriate expert when task identity is unknown, we introduce a router-free task identifier based on SVD subspace signatures computed offline before inference. At inference, the identifier selects the task whose subspace yields the smallest projection residual for a given input. As a result, ReTeX recovers over 95% of individual-expert performance in both vision and NLP domains, while significantly improving generalization to unseen tasks. Crucially, we also show that the parameter offset prediction leads to emergent adaptive interpolation of expert knowledge for out-of-distribution (OOD) tasks. ReTeX adaptively interpolates seen expert knowledge to handle unseen tasks. Our code is available at https://github.com/BAIKLAB/ReTeX
- Abstract（参考訳）: マルチタスクモデルマージは、複数のタスク固有の専門家を統一モデルに統合することを目的としているが、静的マージはパラメータ干渉に常に悩まされている。
動的マージモデルは、このギャップを埋めることを目的としているが、多くの作業は、推論時に冗長な専門家コンポーネントの高価なストレージとロードに依存している。
本研究では、タスクエキスパートの観点から、パラメータ干渉を、マージプロセス中に各専門家が導入したパラメータ摂動とみなす。
このようなパラメータ摂動はアフィン変換としてモデル化でき、加算オフセットとして近似することができる。
そこで我々はRecover Task eXpert(ReTeX)を提案する。Recover Task eXpert(ReTeX)は、パラメータ干渉を解き、単一のマージされたチェックポイントからタスク-専門家のパフォーマンスを回復するために、これらのオフセットを予測するフレームワークである。
タスク識別が不明な場合の適切な専門家を回復するために,推定前にオフラインで計算されたSVDサブスペースシグネチャに基づくルータフリータスク識別子を導入する。
推論において、識別子は、サブスペースが与えられた入力に対して最小の射影残差を生じるタスクを選択する。
その結果、ReTeXは視覚領域とNLP領域の両方において、個々の専門家のパフォーマンスの95%以上を回復し、未確認タスクへの一般化を著しく改善した。
また,パラメータオフセット予測が,アウト・オブ・ディストリビューション(OOD)タスクに対する専門家知識の創発的適応補間につながることを示す。
ReTeXは、見知らぬタスクを扱う専門家の知識を適応的に補間する。
私たちのコードはhttps://github.com/BAIKLAB/ReTeXで利用可能です。
関連論文リスト
- Model Merging as Probabilistic Inference in Fine-Tuning Parameter Space [16.602503149462738]
プロダクト・オブ・エグゼクティブ(PoE)シナリオの下で、確率的推論の新しい視点からモデルマージを定式化する。
エネルギー設計におけるフレームワークの特別な事例として,既存のモデルマージ手法がいくつか存在することを示す。
Cauchyのエキスパートをベースとした多角形PoEの設計でこの問題に対処する。
論文 参考訳（メタデータ） (2026-07-02T04:30:51Z) - PACT: Preserving Anchored Cores in Task-vectors for Model Merging [68.52455853496585]
モデルマージは、複数のタスク固有の細調整されたモデルを単一のマルチタスクモデルに結合することを目的としている。
既存のモデルマージアプローチのほとんどは、Task Arithmeticパラダイムに従っています。
本研究では,タスクベクトル内の固定されたタスク固有コア(LBW次元)を,事前学習した重みのサブ空間と補間を整合させることにより保存するPACTを提案する。
論文 参考訳（メタデータ） (2026-06-17T02:48:35Z) - TRACE: Discovering Task-Specific Parameter via Adaptation-Aware Probing for Continual Fine-Tuning [33.07713704586859]
本稿では,タスク固有のpaRameterを探索するための新しいアプローチであるTRACEを紹介する。
提案手法の優れた性能を示すため,複数の標準ベンチマークを用いて実験を行った。
論文 参考訳（メタデータ） (2026-05-29T08:57:06Z) - Decomposing the Basic Abilities of Large Language Models: Mitigating Cross-Task Interference in Multi-Task Instruct-Tuning [58.90602461025722]
大規模言語モデル(LLM)におけるマルチタスクインストラクトチューニングは、主にマルチタスクインストラクトチューニングによって駆動されている。
トレーニングパラダイムは、異なるタスク間で共有されたパラメータよりも勾配が矛盾するため、クロスタスク干渉と呼ばれる重要な問題に悩まされる。
本稿では,LLMパラメータを基本能力を表す高特異値LoRAエキスパートに分解するBADITを提案する。
6LLMのSuperNIベンチマークで広範な実験を行い、実験結果から、BADITはSOTA法より優れ、クロスタスク干渉の程度を緩和できることが示された。
論文 参考訳（メタデータ） (2026-05-07T05:08:58Z) - Model Merging in the Essential Subspace [78.5390284258307]
モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。
広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。
効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
論文 参考訳（メタデータ） (2026-02-23T00:33:38Z) - Subspace-Boosted Model Merging [18.15956635793621]
Subspace Boostingは、最大20のエキスパートモデルのマージ効率を10%以上の大きなマージンで向上させる。
本稿では,タスク類似性の定量化に高次一般化特異値分解を用いることを提案する。
論文 参考訳（メタデータ） (2025-06-19T17:59:29Z) - LLaVA-CMoE: Towards Continual Mixture of Experts for Large Vision-Language Models [21.888139819188105]
LLaVA-CMoEは、大規模言語モデルの継続的な学習フレームワークである。
Probe-Guided Knowledge Extensionメカニズムは、いつ、どこで新しいエキスパートを追加するべきかを決定する。
Probabilistic Task Locatorは各タスクを専用軽量ルータに割り当てる。
論文 参考訳（メタデータ） (2025-03-27T07:36:11Z) - Task Arithmetic in Trust Region: A Training-Free Model Merging Approach to Navigate Knowledge Conflicts [13.356826891549856]
マルチタスクモデルマージは、複数の微調整されたモデルから知識を統合するための効率的なソリューションを提供する。
Task Arithmetic (TA) の有望なパフォーマンスにもかかわらず、タスクベクトル間で衝突が発生する可能性がある。
本稿では,信頼領域をモデルパラメータ空間の次元として定義するタスク算術的信頼領域(TATR)を提案する。
論文 参考訳（メタデータ） (2025-01-25T04:09:56Z) - Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
モデルマージのための適応重み分散法を提案する。
余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
論文 参考訳（メタデータ） (2024-11-27T20:08:55Z) - Complexity Experts are Task-Discriminative Learners for Any Image Restoration [80.46313715427928]
複雑性の専門家" - 様々な計算複雑性と受容的なフィールドを持つフレキシブルな専門家ブロックを紹介します。
この選好は、タスク固有の割り当てを効果的に推進し、適切な複雑さを持つ専門家にタスクを割り当てる。
提案したMoCE-IRモデルは最先端の手法より優れており、その効率性と実用性が確認されている。
論文 参考訳（メタデータ） (2024-11-27T15:58:07Z) - Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。
本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
論文 参考訳（メタデータ） (2024-05-13T14:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。