論文の概要: No Task Vector Is an Island: A Comprehensive Study on the Composability of Task Vectors from On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2609.39405v1
• Date: Wed, 30 Sep 2026 09:48:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.544447
• Title: No Task Vector Is an Island: A Comprehensive Study on the Composability of Task Vectors from On-Policy Distillation
• Title（参考訳）: No Task Vector is a Island: Aprehensive Study on the Composability of Task Vectors from On-Policy Distillation (特集:「非タスクベクトルは島ではない」)
• Abstract要約: オンライン蒸留(On-policy distillation, OPD)は、学生が生み出す軌跡に対する教師のフィードバックを用いて学生を訓練する。 OPDタスクベクトルが強化学習教師の更新を補完し、タスク間で効果的に構成できるかどうかを問う。 タスク内では、PD学生がRL教師よりも弱い場合でも、PDとRLタスクベクトルの融合は両方の構成モデルより優れている。
• 参考スコア（独自算出の注目度）: 28.10980404222326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Task vectors provide a simple mechanism for composing learned capabilities through model merging. However, the composability of task vectors produced by on-policy distillation (OPD) remains largely unexplored. OPD trains a student using teacher feedback on student-generated trajectories, yielding parameter updates that differ from those produced by the teacher model, usually by reinforcement learning (RL). We therefore ask whether OPD task vectors can complement their RL teacher updates and compose effectively across tasks. Across five domains and two model architectures, we find evidence for both forms of composability. Within a task, merging OPD and RL task vectors can outperform both constituent models, even when the OPD student is weaker than its RL teacher. Across tasks, OPD task-vector compositions achieve higher average scores than corresponding RL compositions in seven of eight backbone-merging-rule comparisons. Parameter-space analyses reveal substantial non-collinearity between OPD and RL updates. Experiment in CODE domain on SMOLLM3-3B shows that the combined direction outperforms either constituent direction at the tested global update norm, supporting directional complementarity in this configuration. Across tasks, OPD updates also show lower overlap among the top-10% feed-forward channels ranked by update energy. Together, these results show that weaker standalone performance does not imply weaker task-vector composability. OPD task vectors can complement stronger RL teacher updates and combine effectively across tasks, highlighting composability as a distinct property for understanding and evaluating post-training updates.
• Abstract（参考訳）: タスクベクトルは、モデルマージを通じて学習能力を構成するためのシンプルなメカニズムを提供する。 しかし, オンライン蒸留(OPD)によるタスクベクトルの構成可能性については, 明らかにされていない。 OPDは、教師が生み出した軌跡に対するフィードバックを用いて生徒を訓練し、通常、強化学習(RL)によって生成された教師モデルとは異なるパラメーターを更新する。 したがって、PDタスクベクトルがRL教師の更新を補完し、タスク間で効率的に構成できるかどうかを問う。 5つのドメインと2つのモデルアーキテクチャにまたがって、両方の構成可能性の証拠を見つけます。 タスク内では、PD学生がRL教師よりも弱い場合でも、OPDとRLタスクベクトルをマージすることで、両方の構成モデルよりも優れる。 タスク全体にわたって、OPDタスクベクトル合成は、8つのバックボーン・マージ・ルール比較のうち7つにおいて、対応するRL合成よりも高い平均スコアを達成する。 パラメータ空間解析は、OPDとRLの更新の間にかなりの非線形性を示す。 SMOLLM3-3B上のCODEドメインの実験では、この組み合わせの方向はテストされたグローバル更新基準においていずれの方向よりも優れており、この構成の方向性の相補性をサポートする。 タスク全体にわたって、PD更新は、更新エネルギによってランク付けされた上位10%のフィードフォワードチャネル間のオーバーラップも低くなる。 これらの結果から,スタンドアローン性能の低下は,タスク・ベクタ構成性の低下を示唆するものではないことが示唆された。 OPDタスクベクトルは、より強力なRL教師更新を補完し、タスクを効果的に組み合わせ、コンポーザビリティをトレーニング後の更新を理解し評価するための別の特性として強調する。

関連論文リスト

• Not All Task Vectors Need Equal Rank: Energy-Proportional Allocation for Model Merging [3.821323038670061]
  本稿では,各タスクベクトルの特異値エネルギー構造に応じてランクを割り当てる簡単なタスク適応戦略を提案する。 実験により,SERAは既存のスペクトルマージ法と同じ総ランク予算を維持しつつ,マルチタスクマージ性能を向上させることが示された。
  論文  参考訳（メタデータ） (2026-09-21T12:54:45Z)
• PACT: Preserving Anchored Cores in Task-vectors for Model Merging [68.52455853496585]
  モデルマージは、複数のタスク固有の細調整されたモデルを単一のマルチタスクモデルに結合することを目的としている。 既存のモデルマージアプローチのほとんどは、Task Arithmeticパラダイムに従っています。 本研究では,タスクベクトル内の固定されたタスク固有コア(LBW次元)を,事前学習した重みのサブ空間と補間を整合させることにより保存するPACTを提案する。
  論文  参考訳（メタデータ） (2026-06-17T02:48:35Z)
• AdaRank: Adaptive Rank Pruning for Enhanced Model Merging [23.649762835129167]
  モデルマージは、独立して微調整されたモデルを統合されたフレームワークに統合するための有望なアプローチとして現れている。 AdaRankは、タスクベクトルの最も有用な特異な方向を適応的に選択し、複数のモデルをマージする新しいモデルマージフレームワークである。 AdaRankは、さまざまなバックボーンとタスク数で一貫して最先端のパフォーマンスを実現し、微調整されたモデル間のパフォーマンスギャップを1%近く削減している。
  論文  参考訳（メタデータ） (2025-03-28T06:49:06Z)
• Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
  モデルマージのための適応重み分散法を提案する。 余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
  論文  参考訳（メタデータ） (2024-11-27T20:08:55Z)
• LDSA: Learning Dynamic Subtask Assignment in Cooperative Multi-Agent Reinforcement Learning [122.47938710284784]
  協調型MARLにおける動的サブタスク代入(LDSA)を学習するための新しいフレームワークを提案する。 エージェントを異なるサブタスクに合理的に割り当てるために,能力に基づくサブタスク選択戦略を提案する。 LDSAは、より優れたコラボレーションのために、合理的で効果的なサブタスクの割り当てを学習していることを示す。
  論文  参考訳（メタデータ） (2022-05-05T10:46:16Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。