論文の概要: Building Multi-Task Agentic LLMs via Two-Phase Distillation

• arxiv url: http://arxiv.org/abs/2606.30044v1
• Date: Mon, 29 Jun 2026 09:36:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.166873
• Title: Building Multi-Task Agentic LLMs via Two-Phase Distillation
• Title（参考訳）: 二相蒸留によるマルチタスクエージェントLDMの構築
• Abstract要約: まず、個別のタスクに対してRLエキスパートを個別に訓練し、蒸留により統合することで、そのようなモデルを構築する方法を示す。 我々は, 前方KLのモード被覆特性により, マルチタスク環境下での非政治蒸留が劣化することを示す。 本稿では, オフ・ポリケーション蒸留とオン・ポリケーション精製という2段階の手法を提案する。
• 参考スコア（独自算出の注目度）: 21.49278503690581
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A key step toward artificial general intelligence is to train models that can perform multiple tasks. In this paper, we study how to build such models by first training separate RL experts for individual tasks and then consolidating them via distillation, as an alternative to directly training a single model on mixed tasks. We show that off-policy distillation degrades in multi-task settings due to the mode-covering nature of forward KL: aggregating data from multiple tasks introduces a large number of behavioral modes that can exceed the student's capacity, forcing it to average across behaviors and leading to degraded performance. In contrast, on-policy distillation is mode-seeking but requires strong initialization. Inspired by these observations, we propose a two-phase approach: off-policy distillation followed by on-policy refinement. Evaluation across conversational agents and text-based games confirms that this two-phase approach matches single-task RL expert performance for each individual task, whereas off-policy or on-policy distillation alone fails to match this performance.
• Abstract（参考訳）: 人工知能への重要なステップは、複数のタスクを実行できるモデルをトレーニングすることだ。 本稿では,まず個別のタスクに対して個別のRLエキスパートを訓練し,その後蒸留により統合し,混合タスクにおいて単一モデルを直接訓練する代替手段として構築する方法を検討する。 複数のタスクからデータを集約することで,学生の能力を超える行動モードが多数導入され,行動平均化を迫られ,性能が低下する。 対照的に、オンライン蒸留はモード検索であるが、強い初期化を必要とする。 これらの観測から着想を得て, オフ・ポリケーション蒸留とオン・ポリケーション精製という2段階の手法を提案する。 会話エージェントやテキストベースのゲームによる評価では、この2段階のアプローチが個々のタスクごとにシングルタスクのRL専門家のパフォーマンスと一致しているのに対して、オフ・ポリティクスやオン・ポリティクスの蒸留だけではこのパフォーマンスに一致しない。

関連論文リスト

• DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
  DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである 本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-14T16:49:09Z)
• Decomposing the Basic Abilities of Large Language Models: Mitigating Cross-Task Interference in Multi-Task Instruct-Tuning [58.90602461025722]
  大規模言語モデル(LLM)におけるマルチタスクインストラクトチューニングは、主にマルチタスクインストラクトチューニングによって駆動されている。 トレーニングパラダイムは、異なるタスク間で共有されたパラメータよりも勾配が矛盾するため、クロスタスク干渉と呼ばれる重要な問題に悩まされる。 本稿では,LLMパラメータを基本能力を表す高特異値LoRAエキスパートに分解するBADITを提案する。 6LLMのSuperNIベンチマークで広範な実験を行い、実験結果から、BADITはSOTA法より優れ、クロスタスク干渉の程度を緩和できることが示された。
  論文  参考訳（メタデータ） (2026-05-07T05:08:58Z)
• Continual Policy Distillation from Distributed Reinforcement Learning Teachers [14.879372764916154]
  継続強化学習は、生涯学習エージェントを開発し、多様なタスクにまたがる知識を継続的に獲得することを目的としている。 これは、安定性と塑性のジレンマを効率的に管理し、新しいタスクに迅速に一般化するために事前の経験を活用する必要がある。 本稿では、CRLを2つの独立したプロセスに分離する新しい教師学生フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-30T02:40:34Z)
• Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach [78.4812458793128]
  動作チャンクの高忠実度検証に軽量な擬数推定器を適用したテスト時間スケーリングフレームワークである textbfTACO を提案する。 我々の手法は、オフライン強化学習(RL)における古典的な反探索原理に似ており、勾配のないため、計算上の大きな恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-12-02T14:42:54Z)
• Bigger, Regularized, Categorical: High-Capacity Value Functions are Efficient Multi-Task Learners [60.75160178669076]
  オンライン強化学習におけるタスク干渉の問題に対して,クロスエントロピーを用いて訓練し,学習可能なタスク埋め込みを条件とした高容量値モデルの使用が課題であることを示す。 280以上のユニークなタスクを持つ7つのマルチタスクベンチマークで、高い自由度ヒューマノイド制御と離散視覚ベースのRLにまたがるアプローチを検証した。
  論文  参考訳（メタデータ） (2025-05-29T06:41:45Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• Trying AGAIN instead of Trying Longer: Prior Learning for Automatic Curriculum Learning [39.489869446313065]
  Deep RL(DRL)コミュニティにおける大きな課題は、見えない状況に対して汎用的なエージェントを訓練することである。 そこで本研究では,(1)教師アルゴリズムがDRLエージェントを高探索カリキュラムで学習し,(2)初回から学習した前処理を蒸留して「専門カリキュラム」を生成する2段階のACLアプローチを提案する。 本研究の目的は,最先端技術に対する平均50%の改善を示すことに加えて,複数の学習者を対象としたACL技術の改良を指向した新たな研究方向性の第一の例を示すことである。
  論文  参考訳（メタデータ） (2020-04-07T07:30:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。