論文の概要: When Model Merging Rivals Joint Multi-Task Reinforcement Learning: A Task-Vector Geometry Analysis
- arxiv url: http://arxiv.org/abs/2607.16062v1
- Date: Fri, 17 Jul 2026 15:41:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-20 17:56:52.892028
- Title: When Model Merging Rivals Joint Multi-Task Reinforcement Learning: A Task-Vector Geometry Analysis
- Title（参考訳）: 連関型マルチタスク強化学習におけるモデルマージングの応用:タスクベクトル幾何解析
- Abstract要約: LOOPを使用したAppWorldエージェントベンチマークでは、トレーニングの難しさ-1と難易度-2のQwen3-8Bスペシャリスト。
私たちはそれら(TIES、RAM+)をマージし、同じデータ上で共同でトレーニングされたモデルに対して結果を落とします。
タスクゴール完了では、マージは共同RLと一致し、すべてのマージ変種は統計的に区別できない。
- 参考スコア（独自算出の注目度）: 0.16921396880325779
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model merging is promoted as a substitute for joint multi-task training, yet in the reinforcement-learning setting this substitution is essentially never tested against the baseline it claims to replace: methods merge independently released agents precisely because a joint model is unavailable. We build the missing comparison. Training difficulty-1 and difficulty-2 Qwen3-8B specialists on the AppWorld agent benchmark with LOOP, we merge them (TIES, RAM+) and pit the result against a jointly trained model on the same data. On task-goal completion, merging matches joint RL -- and every merge variant is statistically indistinguishable. To explain why merge method does not matter here, we measure the geometry of the specialists' task vectors, which carries no task-sampling noise: they are near-orthogonal (cosine 0.06 - 0.10) despite ~65% support overlap, a small, shared direction that grows over training and that we calibrate against a random-init floor and a same-run ceiling to confirm it reflects learning, not the low-rank parameterization. Because direction and support are decoupled, support and sign-based merging (RAM, TIES) collapse to near-uniform averaging. We release all code and statistics.
- Abstract（参考訳）: モデルマージは、ジョイントマルチタスクトレーニングの代替として推進されるが、強化学習環境では、この代替品は基本的に、それが置き換えるべきベースラインに対してテストされない: ジョイントモデルが利用できないために、独立に放出されたエージェントをマージする。
欠落した比較を構築します。
LOOPを用いたAppWorldエージェントベンチマークのトレーニング困難1と難易度2のQwen3-8Bスペシャリストは、それら(TIES、RAM+)をマージし、同じデータ上で共同でトレーニングされたモデルと照合する。
タスクゴール完了では、マージマッチが関節RLと一致し、すべてのマージ変種は統計的に区別できない。
ここではマージ法が重要でない理由を説明するために,タスクサンプリングノイズを伴わない専門家のタスクベクトルの幾何を計測する: ほぼ直交(コサイン0.06～0.10)であるが,65%がオーバーラップしているにもかかわらず,訓練中に成長する小さな共有方向と,ランダムな入射床と同一の天井に対して校正し,学習を反映するものであって,ローランクパラメータ化ではない。
方向とサポートは分離されているため、サポートとサインベースのマージ(RAM、TIES)は、ほぼ一様平均化に崩壊する。
すべてのコードと統計を公開します。
関連論文リスト
- Asymmetric Collapse in Model Merging: When Refusal Over- writes Recognition [4.800831341795478]
Gemma-3-1B-ITファインタインを2つの相補的安全目標,CARESハーモレベル分類とWildJailbreakの回避に使用した。
リニア, SLERP, TIES, DARE-TIES の2つのファインチューンをマージし, 分類精度, 攻撃抵抗, 良性コンプライアンスに関する統合モデルの評価を行った。
論文 参考訳（メタデータ） (2026-07-26T19:10:34Z) - PACT: Preserving Anchored Cores in Task-vectors for Model Merging [68.52455853496585]
モデルマージは、複数のタスク固有の細調整されたモデルを単一のマルチタスクモデルに結合することを目的としている。
既存のモデルマージアプローチのほとんどは、Task Arithmeticパラダイムに従っています。
本研究では,タスクベクトル内の固定されたタスク固有コア(LBW次元)を,事前学習した重みのサブ空間と補間を整合させることにより保存するPACTを提案する。
論文 参考訳（メタデータ） (2026-06-17T02:48:35Z) - The Matching Principle: A Geometric Theory of Loss Functions for Nuisance-Robust Representation Learning [0.5854803320592717]
線形ガウスモデル (Thm.A) における最適性を証明し, 展開のドリフトをゼロにする2次ペナルティに対する範囲被覆の必要性 (Thm.G) を示す。
13ブロック(MLからQwen2.5-7Bまで)のテストは、幾何と展開のドリフトに対する等方性対間違った方向の罰則と一致した。
Sigma_taskを推定し、Sigmaにマッチし、コントロールを実行し、タスクとジオメトリを別々にレポートする。
論文 参考訳（メタデータ） (2026-05-21T17:53:28Z) - Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。
NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-03-27T11:34:41Z) - An Empirical Study and Theoretical Explanation on Task-Level Model-Merging Collapse [19.740211950583525]
タスクレベルのマージ崩壊現象を特定し,特徴付ける。
タスク間の表現的不整合性は、マージ崩壊と強く相関していることを示す。
我々は、次元依存境界を持つ速度歪理論を通じて、この現象に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2026-03-10T10:18:32Z) - DC-Merge: Improving Model Merging with Directional Consistency [62.02490833158024]
DC-Mergeは方向整合モデルマージの手法である。
各タスクベクトルのエネルギー分布は、その特異値を滑らかにすることで均衡する。
ビジョンとビジョン言語ベンチマークの実験では、DC-Mergeは一貫して最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-03-06T13:04:25Z) - Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。
ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。
トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
論文 参考訳（メタデータ） (2026-02-26T11:08:39Z) - Behavior Knowledge Merge in Reinforced Agentic Models [48.89546963456286]
強化学習はポストトレーニングの中心であり、特に特別な推論行動を必要とするエージェントモデルにとって重要である。
既存のマージ手法は教師付き微調整(SFT)のために設計されており、RL学習エージェントモデル上でタスク固有の機能を維持するのに最適である。
本稿では,RL学習エージェントモデル用に明示的に設計された分散対応エージェントマージフレームワークであるReinforced Agent Merging (RAM)を提案する。
論文 参考訳（メタデータ） (2026-01-20T03:56:53Z) - Model Merging with Functional Dual Anchors [21.76214716818033]
モデルマージは、共有基盤モデルの複数の微調整されたチェックポイントから知識を統合するための効率的な戦略である。
本稿では、入力表現空間をモデル化するフレームワークであるFunctional Dual Anchors(FDA)を提案する。
FDAは、誘導勾配がタスクベクトルと一致し、事前訓練されたモデルに対してタスク固有の機能シフトをキャプチャする合成入力である。
論文 参考訳（メタデータ） (2025-10-24T07:54:06Z) - An Empirical Study of Multimodal Model Merging [148.48412442848795]
モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。
我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。
本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
論文 参考訳（メタデータ） (2023-04-28T15:43:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。