論文の概要: ActionOPD: Distilling Decisions, Not Tokens

• arxiv url: http://arxiv.org/abs/2610.19820v1
• Date: Wed, 14 Oct 2026 08:59:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.045576
• Title: ActionOPD: Distilling Decisions, Not Tokens
• Title（参考訳）: ActionOPD: トークンではなく、決定を蒸留する
• Abstract要約: 能力のある言語モデルエージェントをより小さなモデルに蒸留するには、生徒の振る舞いを教師の行動に合わせる必要がある。 トケンレベルのオンライン蒸留は、このミスマッチに対処するが、通常は教師のトークン確率と互換性のあるトークン化を必要とする。 本稿では,学生参加型状態における教師の行動可能性の最大化を動機とした,アクションレベルのオンライン蒸留手法であるActionOPDを紹介する。
• 参考スコア（独自算出の注目度）: 34.33838297068829
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distilling capable language-model agents into smaller models requires aligning the student's behavior with the teacher's. This raises a fundamental question: at which states and at what granularity should this alignment be performed? Offline imitation provides dense but token-specific supervision and can suffer from state-distribution mismatch. Token-level on-policy distillation (OPD) addresses this mismatch but typically requires teacher token probabilities and compatible tokenization. We argue that semantic actions provide a natural unit of supervision for agent distillation. We introduce ActionOPD, an action-level on-policy distillation method motivated by maximizing expected teacher-action likelihood at student-encountered states. At each such state, ActionOPD samples actions from both the student and a black-box teacher, rewarding student actions according to their semantic agreement with the sampled teacher actions. Through policy optimization, ActionOPD aligns the student's action-level behavior with the teacher's decisions without requiring reproduction of teacher-written reasoning or access to teacher token probabilities. Training Qwen3-4B and Qwen3-8B with two teachers on diverse, curated tool-use tasks yields average gains of 3.3-6.9 percentage points across four out-of-distribution benchmarks. ActionOPD scales favorably with student size and teacher capability, without requiring the teacher and student to share a model family or tokenizer. On $τ^2$-bench, ActionOPD achieves competitive performance against offline distillation and token-level OPD. We further explore Self-ActionOPD with a same-model teacher and privileged context. These results establish ActionOPD as a promising approach to agent distillation.
• Abstract（参考訳）: 能力のある言語モデルエージェントをより小さなモデルに蒸留するには、生徒の振る舞いを教師の行動に合わせる必要がある。 どの状態とどの粒度でこのアライメントを実行するべきか? オフラインの模倣は密集しているがトークン固有の監視を提供し、状態分配ミスマッチに悩まされる。 Token-level on-policy distillation (OPD)は、このミスマッチに対処するが、一般的には教師のトークン確率と互換性のあるトークン化を必要とする。 我々は, セマンティックアクションが, エージェント蒸留の自然な管理単位となることを論じる。 本稿では,学生参加型状態における教師の行動可能性の最大化を動機とした,アクションレベルのオンライン蒸留手法であるActionOPDを紹介する。 これらの状態において、ActionOPDは、学生とブラックボックスの教師の両方のアクションをサンプリングし、サンプル化された教師のアクションとのセマンティックな合意に従って学生のアクションに報酬を与える。 政策最適化を通じて、ActionOPDは教師が記述した推論の再現や教師トークンの確率へのアクセスを必要とせず、生徒の行動レベル行動と教師の判断とを一致させる。 Qwen3-4BとQwen3-8Bの2人の教師が多種多様なツール・ユース・タスクを訓練すると、4つのアウト・オブ・ディストリビューション・ベンチマークで平均3.3-6.9ポイントの利得が得られる。 ActionOPDは、教師と生徒がモデルファミリーやトークンを共有せずに、学生のサイズと教師の能力に優しくスケールする。 τ^2$-benchでは、ActionOPDはオフライン蒸留とトークンレベルのOPDとの競合性能を達成する。 さらに,同モデル教師と特権的文脈を用いたセルフ・アクションOPDについて検討する。 これらの結果は, エージェント蒸留への将来的なアプローチとしてActionOPDを確立した。

関連論文リスト

• Stochastic Teacher Intervention for Agentic On-Policy Distillation [54.79076551646515]
  オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの密接な監督を通じて、より強い教師から学生言語モデルへの能力の伝達を効率的に行う。 マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。 マルチターンエージェントOPDのための教師介入フレームワークであるSTI-OPDを紹介する。
  論文  参考訳（メタデータ） (2026-10-07T20:29:29Z)
• A Good Self-Teacher Meets the Student Where They Are: Joint On-Policy Learning and Teaching [15.425398466450646]
  On-Policy Distillation (OPD)は、学生の世代に沿って、より強い教師から密集したトークンレベルの監督を提供する。 しかし、特権条件付けだけでは、結果の蒸留更新によって生徒が改善されることは保証されない。 本稿では,2つの役割で1つの政策を共同訓練するJOLT(Joint On-Policy Learning and Teaching)を提案する。
  論文  参考訳（メタデータ） (2026-10-07T17:19:19Z)
• On-Policy Distillation with Negative-Policy Rollouts [61.76889440384448]
  オンライン蒸留(英: On-policy distillation、OPD)は、学生モデルが自身のロールアウトでより強い教師からトークンレベルの監督を取得するポストトレーニング手法である。 我々は,教師の監督と低パフォーマンスで低能力なネガティブポリシーのロールアウトを補完するNegative-Policy OPD(NP-OPD)を導入する。 NP-OPDは、OPDで使用される正の教師監督を保ちながら、負の政治的ロールアウトを通じて明確な負のシグナルを提供する。
  論文  参考訳（メタデータ） (2026-10-06T07:25:03Z)
• Spend Teacher Tokens Where They Matter: Success-Referenced On-Policy Distillation [8.998984850606345]
  オンライン蒸留は、学生が生み出したロールアウトと教師からの密集したトークンレベルの監督を組み合わせたものである。 本稿では,教師の指導を受けるプロンプトとロールアウトを選択することで,そのコストを削減できる,継承関連オンポリシィ蒸留(SR-OPD)を導入する。
  論文  参考訳（メタデータ） (2026-10-02T01:59:53Z)
• Teacher-Student Gaps Are Not Enough: Outcome-Guided On-Policy Distillation for Multi-Turn Autonomous Agents [18.008085411758177]
  オンライン蒸留は、教師の監督が密集した独自の軌道で学生を訓練する。 大きなギャップは無視できるが、小さなギャップは結果クリティカルである。 教師の指導に軌道相対重み付けを適用したOG-OPD(Outcome-Guided On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-09-28T14:49:13Z)
• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
  オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。 本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。 Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
  論文  参考訳（メタデータ） (2026-06-14T16:41:45Z)
• Adversarial Dual On-Policy Distillation from Expressive Teacher [53.63143943452487]
  フローマッチングの教師は、デモから学び、軽量の学生と共同で訓練される。 教師は学生のロールアウトに2つの補完的な信号を提供します。 アクションチャネルは、学生が訪問する州で密集したローカルターゲットを提供し、搾取を安定化させる。
  論文  参考訳（メタデータ） (2026-05-26T14:38:03Z)
• Rethinking On-Policy Distillation of Large Language Models: Phenomenology, Mechanism, and Recipe [36.507858889603845]
  オンライン蒸留(OPD)は,大規模言語モデルのポストトレーニングにおける中核的な技術となっている。 本稿では,OPDの力学と機構を体系的に研究する。
  論文  参考訳（メタデータ） (2026-04-14T17:54:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。