論文の概要: A Few Teacher Steps Go a Long Way: Cost-Efficient On-Policy Data Augmentation for Agent Post-Training

• arxiv url: http://arxiv.org/abs/2607.04574v1
• Date: Mon, 06 Jul 2026 01:02:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.98257
• Title: A Few Teacher Steps Go a Long Way: Cost-Efficient On-Policy Data Augmentation for Agent Post-Training
• Title（参考訳）: 長い道のりを歩む教師は少ない: エージェント・ポスト・トライニングのための費用効率の良いオン・ポリティィデータ強化
• Abstract要約: 学習者による文脈における有界教師の継続は、一致した予算における純粋な行動的クローンよりも改善されることを示す。 以上の結果から,学習者によって引き起こされる文脈に置かれる教師のステップは,より長くあるいはより厳格に調整された教師の完成よりも,よりコスト効率の高い監督アロケーションとなることが示唆された。
• 参考スコア（独自算出の注目度）: 11.42123432311386
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For LLM agents, supervised fine-tuning is not only about teacher labels' quality, but also about which interaction contexts those labels condition on. Pure behavioral cloning uses full teacher demonstrations, creating a mismatch between teacher-induced contexts seen in training and student-induced contexts encountered at test time. Recent work addresses this mismatch by querying a teacher at contexts reached by the student, often with increasingly elaborate filtering of the teacher's continuations. We instead frame on-policy data construction as a budget-allocation problem: under matched supervision resources, should teacher output be spent on more start-to-finish demos, longer continuations, outcome filtering, or broader coverage of learner-induced contexts? We formalize this design space through the rollout policy, switch-time distribution, continuation horizon, filtering rules, and two complementary costs: teacher inference generated before filtering and teacher supervision retained for SFT. Across HotpotQA, ALFWorld, and Terminal-Bench-Dev, bounded unfiltered teacher continuations at learner-induced contexts improve over pure behavioral cloning at matched budgets. On HotpotQA and ALFWorld, where we run the full comparison, few-step continuations match or exceed success-filtered and critical-context-filtered alternatives. Our findings suggest that a few teacher steps, placed at learner-induced contexts, can be a more cost-efficient supervision allocation than longer or more heavily curated teacher completions.
• Abstract（参考訳）: LLMエージェントの場合、教師による微調整は、教師のラベルの品質だけでなく、それらのラベルの条件がどのインタラクション・コンテキストであるかについても意味する。 純粋な行動クローンは、完全な教師のデモンストレーションを使用し、トレーニングで見られる教師が引き起こすコンテキストと、テスト時に遭遇する学生が引き起こすコンテキストのミスマッチを生成する。 最近の研究は、生徒が到達した文脈で教師に質問することでこのミスマッチに対処し、しばしば教師の継続をより精巧にフィルタリングする。 一致した監視リソースの下では、教師のアウトプットは、より多くの開始から終了までのデモ、長い継続、結果のフィルタリング、学習者が引き起こすコンテキストの広範なカバレッジに費やされるべきか? 我々は、この設計空間を、ロールアウトポリシー、スイッチタイム分布、継続地平線、フィルタリング規則、および2つの相補的コスト、すなわち、フィルタリングの前に生成された教師推論とSFTの教師監督によって形式化する。 HotpotQA, ALFWorld, および Terminal-Bench-Dev 全体で、学習者が引き起こす文脈における有界な教師継続は、一致した予算での純粋な行動的クローンよりも改善される。 完全な比較を行うHotpotQAとALFWorldでは、数ステップの継続が成功フィルタリングとクリティカルコンテキストフィルタリングの代替にマッチするか、超過します。 以上の結果から,学習者によって引き起こされる文脈に置かれる教師のステップは,より長くあるいはより厳格に調整された教師の完成よりも,よりコスト効率の高い監督アロケーションとなる可能性が示唆された。

関連論文リスト

• ReOrder-OPD:Reliability-Aware Prompt Ordering for On-Policy Distillation [25.69241346799495]
  我々は,教師が生徒の接頭辞から正しい回答を得られる確率として,プロンプトレベルの教師継続信頼性を$R$と定義する。 我々は、高いR$プロンプトがより大きなOPDゲインをもたらし、下降するR$トレーニングがランダムな順序と上昇順序より優れていることを示す。
  論文  参考訳（メタデータ） (2026-08-11T13:27:56Z)
• Multi-Turn On-Policy Distillation with Prefix Replay [73.10000453999088]
  エージェントタスクに対するReplayed-Prefix On-Policy Distillation (ReOPD)を提案する。 ReOPDは、プレコンパイルされた教師の軌跡を再生プレフィックスとして再利用する。 OPDレベルの精度を保存または改善し、学生のトレーニング中にゼロツールコールを使用し、PDよりもトレーニングステップあたり最低4$times$高速である。
  論文  参考訳（メタデータ） (2026-07-06T07:56:53Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
  Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。 複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T09:20:03Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)
• TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
  マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。 学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。 4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2026-04-27T03:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。