論文の概要: Act First, Reason Later: Accelerating On-Policy Distillation for Multi-Turn Agents via Reference-Conditioned Inverse Dynamics

• arxiv url: http://arxiv.org/abs/2609.36608v1
• Date: Tue, 29 Sep 2026 03:25:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.149704
• Title: Act First, Reason Later: Accelerating On-Policy Distillation for Multi-Turn Agents via Reference-Conditioned Inverse Dynamics
• Title（参考訳）: 第一幕, 第二幕: 基準条件逆動力学による多孔質剤のオンポリシィ蒸留の促進
• Abstract要約: Act First-OPDは、フルレスポンスジェネレーションから環境相互作用を分離するアクトファースト、理性-後のトレーニングフレームワークである。 実験の結果、ActFirst-OPDはALFWorldで平均2.3times$、WebShopで1.8times$、Vanilla OPDで4.9times$を達成している。
• 参考スコア（独自算出の注目度）: 44.67698117987422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) trains multi-turn language agents with dense teacher supervision on student-generated responses. However, standard think-then-act rollouts require lengthy reasoning before each short action, delaying environment transitions and experience collection. Generating actions directly reduces this delay but can degrade rollout quality. To address this, we propose ActFirst-OPD, an act-first, reason-later training framework that decouples environment interaction from full-response generation. The student infers and executes actions through reference-conditioned inverse dynamics using its current interaction context and a reference next observation, and switches to autonomous next-action prediction when the resulting transition deviates from the reference trajectory. From the collected interaction contexts, the student asynchronously generates full think-then-act responses for token-level teacher supervision. Experiments across 0.6B-, 1.7B-, and 4B-parameter Qwen3 students show that ActFirst-OPD achieves average wall-clock training speedups of $2.3\times$ on ALFWorld, $1.8\times$ on WebShop, and $4.9\times$ on ScienceWorld over Vanilla OPD. It matches or exceeds all compared OPD baselines in mean task success rate across eight of nine benchmark-model settings. These results demonstrate that reasoning need not block acting during multi-turn agent distillation.
• Abstract（参考訳）: オンライン蒸留(OPD)は、学生が生み出す反応を教師が監督する多言語エージェントを訓練する。 しかし、シンクザアクティクスのロールアウトには、各ショートアクションの前に長い推論、環境遷移の遅延、エクスペリエンスコレクションが必要である。 アクションの生成は、この遅延を直接的に低減するが、ロールアウトの品質を低下させる可能性がある。 そこで本研究では,Act First-OPDを提案する。 生徒は、現在の相互作用コンテキストと参照次観測を用いて、参照条件の逆ダイナミクスを通じてアクションを推論し、実行し、結果の遷移が参照軌跡から逸脱したとき、自律的な次の動作予測に切り替える。 収集したインタラクションコンテキストから,学生はトークンレベルの教師監督のために,シンク・ザ・アクティヴ・レスポンスを非同期に生成する。 0.6B-, 1.7B-, 4B-parameter Qwen3 の学生による実験では、ActFirst-OPD は平均ウォールタイムのトレーニング速度を ALFWorld で2.3\times$、WebShop で1.8\times$、Vanilla OPD で4.9\times$ で達成している。 9つのベンチマークモデル設定のうち8つの平均タスク成功率で比較されたPDベースラインをすべて一致または超える。 これらの結果は, 多ターン蒸留における推論の作用を阻害する必要はないことを示唆している。

関連論文リスト

• Learning from Think-Mode Advantage via On-Policy Distillation [6.1595973562360316]
  明示的な中間推論は、大きな言語モデルにより強力な問題解決モードを与える。 我々は、オンライン蒸留(OPD)を通して、このシンクモードの利点から学ぶことを研究する。 ThinkOPDは、学生が生成した軌跡を保存し、学生が訪問する接頭辞に密集したトークンレベルの教師ターゲットを提供する。
  論文  参考訳（メタデータ） (2026-09-29T08:51:21Z)
• ReOrder-OPD:Reliability-Aware Prompt Ordering for On-Policy Distillation [25.69241346799495]
  我々は,教師が生徒の接頭辞から正しい回答を得られる確率として,プロンプトレベルの教師継続信頼性を$R$と定義する。 我々は、高いR$プロンプトがより大きなOPDゲインをもたらし、下降するR$トレーニングがランダムな順序と上昇順序より優れていることを示す。
  論文  参考訳（メタデータ） (2026-08-11T13:27:56Z)
• OPTD: On-Policy Transition Distillation with Consistency-Guided Adaptive Compression for Few-Step Diffusion Language Models [39.15861870749305]
  OPTD, On-Policy Transition Distillation with consistency-guided Adaptive compression。 これは、数段階の学生自身の軌跡から部分的な状態をサンプリングし、凍結した質問のみの教師を使用して結果に整合した将来の候補者を特定し、現状の信頼でそれらを注文する。 品質効率のトレードオフを継続的に改善し、評価された数ステップのベースラインの中で、全体的な品質に制約のあるAUPを最強に達成します。
  論文  参考訳（メタデータ） (2026-08-03T23:09:43Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• Multi-Turn On-Policy Distillation with Prefix Replay [73.10000453999088]
  エージェントタスクに対するReplayed-Prefix On-Policy Distillation (ReOPD)を提案する。 ReOPDは、プレコンパイルされた教師の軌跡を再生プレフィックスとして再利用する。 OPDレベルの精度を保存または改善し、学生のトレーニング中にゼロツールコールを使用し、PDよりもトレーニングステップあたり最低4$times$高速である。
  論文  参考訳（メタデータ） (2026-07-06T07:56:53Z)
• Bidirectional Decoding: Improving Action Chunking via Guided Test-Time Sampling [51.38330727868982]
  動作チャンキングが学習者と実証者の間の分岐にどのように影響するかを示す。 動作チャンキングをクローズドループ適応でブリッジするテスト時間推論アルゴリズムである双方向デコーディング(BID)を提案する。 提案手法は、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)
• Refined Continuous Control of DDPG Actors via Parametrised Activation [3.32399229114419]
  提案手法により、強化学習アクターは、アクチュエータの応答関数の相違を許容するより堅牢な動作を生成できる。 これは、アクチュエータが負荷や環境との相互作用に応じて異なる応答関数を示す現実のシナリオで特に有用である。
  論文  参考訳（メタデータ） (2020-06-04T12:27:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。