論文の概要: Beyond On-Policy vs. Off-Policy: At What Level Should LLM Agent Distillation Follow the Student?
- arxiv url: http://arxiv.org/abs/2610.31918v1
- Date: Thu, 22 Oct 2026 21:10:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.29479
- Title: Beyond On-Policy vs. Off-Policy: At What Level Should LLM Agent Distillation Follow the Student?
- Title（参考訳）: オン・ポリティとオフ・ポリティ(Off-Policy vs. Off-Policy: LLMエージェント蒸留はどのレベルに学生をフォローすべきか?
- Abstract要約: 対話型LLMエージェントを蒸留するには、教師生成デモと生徒生成体験のどちらを選択する必要がある。
本稿では,これら2段階のオン・ポリティネスを定式化する階層型エージェント蒸留フレームワークを提案する。
教師が生成した行動接頭辞と組み合わせた学生による歴史は、一般に最強の独立した訓練信号を提供する。
- 参考スコア（独自算出の注目度）: 11.14798758430485
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Distilling interactive LLM agents requires choosing between teacher-generated demonstrations and student-generated experience, corresponding broadly to off-policy and on-policy distillation. While both have proven effective, we argue that this distinction is inherently hierarchical: the policy that induces an interaction history need not be the same as the policy that generates the token prefix of the current action. We introduce a hierarchical agent distillation framework that formalizes these two levels of on-policiness and enables explicit control over their pairing, mixture proportions, and training schedule. We study this problem through self-distillation, where a frozen teacher has access to task guidance unavailable to the student, and conduct a three-stage controlled study across three models and four interactive environments. We find that student-induced histories paired with teacher-generated action prefixes generally provide the strongest standalone training signal, whereas following the student at both levels generally performs worst. Nevertheless, fully on-policy data becomes beneficial when incorporated into a mixture with other configurations. Moreover, mixtures with identical teacher/student proportions at each level can yield substantially different performance, showing that how the two levels are paired matters beyond the overall amount of on-policy data. Finally, front-loading fully teacher-generated contexts and delaying fully on-policy contexts improves over a static mixture. These findings provide practical principles for deciding where, how much, and when agent distillation should follow the student.
- Abstract（参考訳）: 対話型LLMエージェントを蒸留するには、教師が生成した実演と生徒が生成した経験を区別する必要がある。
相互作用履歴を誘導するポリシーは、現在のアクションのトークンプレフィックスを生成するポリシーと同じではない。
本稿では,これら2つのオン・ポリシティーレベルを形式化し,それらのペアリング,混合比例,トレーニングスケジュールを明確に制御できる階層型エージェント蒸留フレームワークを提案する。
そこでは,凍結した教師が生徒に利用できない課題指導にアクセスでき,三つのモデルと4つの対話環境にまたがる3段階の制御研究を行う。
教師が生成した行動接頭辞と組み合わせた学生による歴史は、一般に最も強いスタンドアロンの訓練信号を提供するのに対し、両レベルの学生は、一般的に最悪の成績を示す。
それでも、他の構成と組み合わせて組み込むと、完全なオン・ポリティクスデータが有用になる。
さらに、各レベルにおける同一の教師/学生比率の混合は、その2つのレベルがどのようにペアリングされているかが、政治上のデータの総量を超えていることを示している。
最後に、教師が生成したコンテキストのフロントローディングと、政治上のコンテキストの完全な遅延は、静的な混合よりも改善される。
これらの知見は, 学生がいつ, どのくらい, どのくらいのエージェント蒸留を行うべきかを決定するための実践的原則を提供する。
関連論文リスト
- On-Policy Transition Distillation [15.138749650743174]
オンライン蒸留は、教師と学生の最終層分布を一致させることで、専門家の能力を1人の学生に集約する。
On-Policy Transition Distillation (OPTD) は教師層と学生層間の対数確率の増大を調整して最終層分布のマッチングを強化する。
論文 参考訳（メタデータ） (2026-10-20T11:37:31Z) - Is Better Teacher Supervision Enough? Unlocking Student-side Learning in Multimodal On-Policy Distillation [38.496745535296945]
オンライン蒸留(OPD)は、学生自身の軌道上の教師からトークンレベルの監督を提供することにより、推論を改善する。
S-OPDは,学生の知覚学習を明示的に強化するシンプルなマルチモーダルオンライン蒸留フレームワークである。
我々のメソッドは既存のOPDフレームワークにシームレスにプラグインすることができ、追加のデータアノテーション、モデルパラメータ、推論操作を必要としない。
論文 参考訳（メタデータ） (2026-09-30T06:55:48Z) - Interpolated Policy Distillation: A Controllable Continuum Between Off-Policy and On-Policy Distillation [16.738590881238558]
オフ政治とオン政治は伝統的に別々のパラダイムとして定式化されてきた。
復号ステップ毎に次点分布を定義した textbf Interpolated Policy Distillation (IPD) を導入する。
IPDは両エンドポイントポリシーを一貫して上回る。
論文 参考訳（メタデータ） (2026-09-29T09:57:24Z) - From Scoring to Acting: Outcome-Verified Comparative Self-Distillation for LLM Agents [16.67357658768852]
我々は,OVCSD(Outcome-Verified Comparison Self-Distillation)を提案する。
OVCSDは失敗に終わった学生をプレフィックスツリーに配置し、学生が設定した状態からスキル条件の教師を適応的に呼び出す。
3つのモデルスケールにわたるALFWorldとWebShopの実験は、OVCSDがスキルのないRLと既存の自己蒸留ベースラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-07-30T09:47:58Z) - Beyond the Best Teacher: Expanding and Compressing the Reasoning Solution Manifold [4.090731563364332]
我々は、強化学習ポリシーをマルチベース推論解多様体の局所的なプローブと見なすべきであると主張する。
本稿では,教師が多教師政策の蒸留で構築する拡張型圧縮フレームワークを提案する。
論文 参考訳（メタデータ） (2026-07-30T07:05:37Z) - DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。
DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
論文 参考訳（メタデータ） (2026-07-02T17:58:29Z) - On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。
本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。
Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
論文 参考訳（メタデータ） (2026-06-14T16:41:45Z) - Adversarial Dual On-Policy Distillation from Expressive Teacher [53.63143943452487]
フローマッチングの教師は、デモから学び、軽量の学生と共同で訓練される。
教師は学生のロールアウトに2つの補完的な信号を提供します。
アクションチャネルは、学生が訪問する州で密集したローカルターゲットを提供し、搾取を安定化させる。
論文 参考訳（メタデータ） (2026-05-26T14:38:03Z) - AdaSwitch: Adaptive Switching Generation for Knowledge Distillation [58.647880811071495]
スモール言語モデル(SLM)は、厳密な待ち時間と計算制約のあるアプリケーションには不可欠である。
トークンレベルでのオン・ポリティクスとオフ・ポリティクス・ジェネレーションを組み合わせた新しいアプローチであるAdaSwitchを提案する。
AdaSwitchは一貫して精度を向上し、SLMを蒸留するための実用的で効果的な方法を提供し、追加のオーバーヘッドを許容する。
論文 参考訳（メタデータ） (2025-10-09T06:38:37Z) - Learning from Diverse Reasoning Paths with Routing and Collaboration [65.77515749498575]
経路品質フィルタリング,条件付きルーティング,ピアラーニングを組み合わせたQR-Distill(Quality-filtered Routing with Cooperative Distillation)を提案する。
従来のシングルパス蒸留法やマルチパス蒸留法よりもQR-ディスティルが優れていることを示す実験がある。
論文 参考訳（メタデータ） (2025-08-23T01:15:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。