論文の概要: Branching On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.13481v1
• Date: Fri, 09 Oct 2026 12:13:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.563691
• Title: Branching On-Policy Distillation
• Title（参考訳）: ブランチオン・ポリシィ蒸留
• Abstract要約: オンライン蒸留(OPD)は、学生が生み出す軌跡を教師が監督するが、一つの軌跡は各決定において1つの連続しか認識しない。 本稿では,学生の不確かさと教師と学生の意見の不一致を利用して,情報的意思決定点を選択するブランチOPDを提案する。 BranchOPDは、数学におけるトークンレベルの決定とエージェントタスクにおけるターン内決定で動作する。
• 参考スコア（独自算出の注目度）: 13.553289616478951
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) provides teacher supervision on student-generated trajectories, but a single trajectory realizes only one continuation at each decision, limiting supervision coverage under a finite sampling budget. We propose BranchOPD (Branching On-Policy Distillation), which selects informative decision points using student uncertainty and teacher-student disagreement, resamples student-policy continuations from shared prefixes, and applies token-level teacher supervision to both main trajectories and branches. BranchOPD operates at token-level decisions in mathematics and within-turn decisions in agent tasks. Shared-prefix reuse reduces student-generated token costs by approximately 19% on ALFWorld and 31% on WebShop relative to seven independent trajectories. We also introduce protocol-boundary repair (PBR), which uses targeted supervision under protocol constraints to mitigate repetition and wasted generation. BranchOPD outperforms Vanilla OPD and Multi-Rollout OPD (n=7) across all evaluated benchmarks, with gains over Vanilla OPD of 18.55 percentage points in mean mathematics accuracy over 16 sampled answers (avg@16) and 13.8 points in mean ALFWorld ID/OOD success. Mechanistic analyses and selection ablations show that branching at uncertain decisions expands subsequent behavior coverage and outperforms random selection and turn-initial branching.
• Abstract（参考訳）: オンライン蒸留(OPD)は、学生が生み出す軌跡の教師の監督を提供するが、単一の軌跡は、各決定において1つの継続しか実現せず、限られたサンプリング予算の下での監督範囲を制限する。 本稿では,学生の不確実性と教師と学生の意見の不一致を利用して情報的意思決定点を選択するブランチOPD(Branching On-Policy Distillation)を提案する。 BranchOPDは、数学におけるトークンレベルの決定とエージェントタスクにおけるターン内決定で動作する。 共有プリフィックスの再利用により、学生が生成するトークンコストは、ALFWorldで約19%、WebShopで約31%削減される。 また、プロトコル制約下でのターゲット監視を利用して、繰り返しや無駄な生成を緩和するプロトコル境界修復(PBR)も導入する。 BranchOPDはVanilla OPDとMulti-Rollout OPD(n=7)を全ての評価ベンチマークで上回り、Vanilla OPDの18.55パーセントは16のサンプル回答(avg@16)で、平均13.8ポイントはALFWorld ID/OODで成功している。 機械的分析と選択の短縮は、不確実な決定における分岐がその後の行動カバレッジを拡大し、ランダム選択やターン初期分岐よりも優れていることを示している。

関連論文リスト

• Stochastic Teacher Intervention for Agentic On-Policy Distillation [54.79076551646515]
  オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの密接な監督を通じて、より強い教師から学生言語モデルへの能力の伝達を効率的に行う。 マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。 マルチターンエージェントOPDのための教師介入フレームワークであるSTI-OPDを紹介する。
  論文  参考訳（メタデータ） (2026-10-07T20:29:29Z)
• Outcome-Guided On-Policy Self-Distillation [56.42298431854587]
  オンライン自己蒸留(OPSD)は、RLVR(Reinforcement Learning with Verifiable Rewards)よりも高密度トークンレベルの監視と計算効率の向上を提供する。 我々はOPSDの目的を同じ視点から分析し、結果の正しさのシグナルを取り入れた。 その結果,バニラOPSDは,結果の正当性に関わらず,不適切な軌跡に対して不十分な罰則と過剰な報酬を課すことが判明した。 本稿では,2次結果の報奨と累積平均教師エントロピーに応じて,分散目標と蒸留位置の両方を動的に適応させるOG-OPSD(Outcome-Guided On-Policy Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-10-04T09:13:27Z)
• OPSRD: On-Policy Self-Role Distillation [7.947611649764756]
  OPSRDは、参照ソリューションを使わずに、政治上の自己蒸留のための特権的な教育コンテキストとして、固定された専門家の役割を使用する。 ロールフリーの学生は軌道を生成し、同じベースモデルの凍結インスタンスはその正確なプレフィックスにロール条件の分布を提供する。 フォワードKLは、個々の語彙への貢献を制限するクリッピングによって、学生が過小評価する代替案をターゲットにしている。
  論文  参考訳（メタデータ） (2026-09-30T14:56:10Z)
• Targeting Pivotal Decisions for Credit Assignment in Agentic Reinforcement Learning [39.325308642396244]
  本稿では,エージェント強化学習におけるきめ細かなクレジット割り当てを,潜在的に重要な決定対象とするフレームワークであるProVerを紹介する。 ProVerは、モデル判定のみを使用して検証の場所を選択することで、すべての中間状態を徹底的に評価することなく、観察結果のローカルクレジットを根拠にします。 ALFWorld、WebShop、SearchQAを通じて、ProVerは両方のモデルスケールで最高の平均パフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-09-28T19:48:05Z)
• TISD: On-Policy Self-Distillation with Trajectory Intervention [13.94224055378737]
  On-policy Self-distillation (OPSD) は、高密度の教師ターゲットを提供するが、学生サンプルのロールアウトに沿ってのみ評価する。 単純な分岐再生蒸留アルゴリズムであるトラジェクトリ・インターベンション・セルフ蒸留(TISD)を導入する。 TISDは教師が選択したブランチアクションを強制し、サフィックス生成を生徒に返却し、特権条件付き教師の下で完全な軌跡を蒸留する。
  論文  参考訳（メタデータ） (2026-09-25T06:37:02Z)
• SAGE-OPD: Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation [25.25989941933095]
  マルチターンOPD用に設計された検証不要な選択的介入フレームワークであるSAGE-OPDを提案する。 SAGE-OPDは、教師の監督を全ターンで均一に行うのではなく、まず環境フィードバックを観察し、各生徒の反応をスキップするか介入するかを決定するために教師の判断を使用する。 エージェントタスクの実験では、SAGE-OPDはベースラインよりも一貫して改善され、ALFWorldの13.3%の相対的な改善を実現している。
  論文  参考訳（メタデータ） (2026-06-17T23:58:14Z)
• On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
  オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。 本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。 Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
  論文  参考訳（メタデータ） (2026-06-14T16:41:45Z)
• When Are Teacher Tokens Reliable? Position-Weighted On-Policy Self-Distillation for Reasoning [45.79647925282674]
  On-policy Self-distillation (OPSD) は、特権教師を使って生徒を自身のロールアウトで訓練する。 既存のエントロピーに基づくPD手法は、教師エントロピーによるトークンレベルの監督を調節することで、この一様性を緩和する。 そこで我々は,PW-OPSD(Pight-Weighted On-Policy Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-05-20T18:14:03Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Evaluating Prompt Injection Defenses for Educational LLM Tutors: Security-Usability-Latency Trade-offs [51.56484100374058]
  ガードレールの設計には、敵の堅牢性、良質なタスクのユーザビリティ、応答レイテンシの明確なトレードオフが伴う。 決定論的パターンフィルタ,構造検証,コンテキストサンドボックス,セッションレベルの動作チェックを組み合わせた,ドメイン固有のマルチレイヤセーフガードパイプラインの評価を行った。 NeMoは16.22パーセントのFPRと1.5パーセントのレイテンシで0パーセントのバイパスに達し、Prompt Guardは38.48パーセントのFPRと3.60パーセントのバイパスを実現している。
  論文  参考訳（メタデータ） (2026-03-29T18:52:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。