論文の概要: Learning from Interaction Experience via Localized Context Distillation

• arxiv url: http://arxiv.org/abs/2610.21427v1
• Date: Thu, 15 Oct 2026 07:39:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.254672
• Title: Learning from Interaction Experience via Localized Context Distillation
• Title（参考訳）: 局所的文脈蒸留によるインタラクション体験からの学習
• Abstract要約: ローカライズドコンテクスト蒸留(LoCD) LoCDは、リビジョンを必要とする学生軌道の臨界スパンをローカライズする。 教師は、生徒自身のプレフィックスからこれらのスパンのみを再生し、生徒は再生されたセグメントで訓練される。
• 参考スコア（独自算出の注目度）: 20.240206664326973
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning from interaction experience is essential for enabling large language models to continually improve during deployment. Context distillation offers a promising path: privileged information extracted from experience is provided to a teacher, whose behavior is then distilled into a student model that has no access to it. However, both existing forms of context distillation have limitations. Off-policy context distillation trains the student on teacher-generated trajectories and thus suffers from exposure bias; whereas on-policy context distillation trains on the student's own rollouts, whose states are often uninformative and fail to convey behaviors the student cannot yet produce. To resolve this dilemma, we introduce Localized Context Distillation (LoCD). LoCD first localizes the critical spans of a student trajectory that require revision. The teacher then regenerates only these spans from the student's own prefix, and the student is trained on the regenerated segments. LoCD thereby concentrates learning on the most informative states while keeping exposure bias low. Extensive experiments across math reasoning, code generation, and agent tasks demonstrate that LoCD consistently outperforms strong baselines and achieves more stable training with smaller and sparser parameter updates.
• Abstract（参考訳）: 対話経験から学ぶことは、大規模言語モデルがデプロイメント中に継続的な改善を可能にするために不可欠である。 経験から抽出された特権情報は教師に提供され、その振る舞いはそれにアクセスできない学生モデルに蒸留される。 しかし、両方の既存の文脈蒸留には限界がある。 オフ・ポリティ・コンテクストの蒸留は、教師が生成した軌跡で学生を訓練し、それ故に露出バイアスに悩まされる。一方、オン・ポリティ・コンテクストの蒸留は、学生自身のロールアウトで行われ、その状態はしばしば非形式的であり、学生がまだ生成できない行動を伝えることができない。 このジレンマを解決するために、LoCD(Localized Context Distillation)を導入する。 LoCDはまず、リビジョンを必要とする学生軌道の臨界スパンをローカライズする。 教師は、生徒自身のプレフィックスからこれらのスパンのみを再生し、生徒は再生されたセグメントで訓練される。 したがって、LoCDは露光バイアスを低く保ちながら最も情報性の高い状態の学習に集中する。 数学推論、コード生成、エージェントタスクにわたる広範な実験により、LoCDは一貫して強いベースラインを上回り、より小さくてスペーサーなパラメータの更新によるより安定したトレーニングを実現している。

関連論文リスト

• Context-Matched Distillation: Teacher Causality for Autoregressive Video Distillation [97.02922768457239]
  Context-Matched Distillation (CMD) は、教師の監督と、各ターゲットが生成される際に利用可能な情報とを整合させる因果的MDDフレームワークである。 Prefix Corruptionは、このターゲットコンテキストアライメントを維持しながら、トレーニングの初期段階で生成された信頼性の低いプレフィックスを摂動することで、トレーニングを安定化させる。 ショートビデオとロングビデオの両方のベンチマークで、自己回帰手法における最先端の集約性能を実証した。
  論文  参考訳（メタデータ） (2026-08-13T15:51:31Z)
• Multi-Turn On-Policy Distillation with Prefix Replay [73.10000453999088]
  エージェントタスクに対するReplayed-Prefix On-Policy Distillation (ReOPD)を提案する。 ReOPDは、プレコンパイルされた教師の軌跡を再生プレフィックスとして再利用する。 OPDレベルの精度を保存または改善し、学生のトレーニング中にゼロツールコールを使用し、PDよりもトレーニングステップあたり最低4$times$高速である。
  論文  参考訳（メタデータ） (2026-07-06T07:56:53Z)
• Backtracking When It Strays: Mitigating Dual Exposure Biases in LLM Reasoning Distillation [43.020181623750865]
  本稿では,MOTABにおけるモニタリングトラジェクトリとバックトラッキングを提案する。 MOTABは、適応的な安全境界に対して学生の政治世代を監視する。 LIMO-v2とAceReasonデータセットの実験により、MOTABは二重露光バイアスを効果的に緩和することが示された。
  論文  参考訳（メタデータ） (2026-05-19T06:42:52Z)
• A Survey of On-Policy Distillation for Large Language Models [19.95776080082138]
  この調査は、大規模言語モデル(LLM)のオン・ポリシィ蒸留に関する最初の包括的概要を提供する。 オンラインのサンプルに対して$f$-divergenceフレームワークを導入し,emphfeedbackシグナル(ログベース,結果ベース,自己プレイ),emphteacherアクセス(ホワイトボックス,ブラックボックス,教師フリー),emphloss最小化(トケンレベル,シーケンスレベル,ハイブリッド)の3つの次元に沿ってランドスケープを整理する。
  論文  参考訳（メタデータ） (2026-04-01T08:32:34Z)
• TED: Training-Free Experience Distillation for Multimodal Reasoning [9.796446482217418]
  TEDは、トレーニングなし、文脈ベースの蒸留フレームワークである。 これは、蒸留の更新ターゲットをモデルパラメータから、学生のプロンプトに注入されたコンテキスト内体験にシフトする。
  論文  参考訳（メタデータ） (2026-03-25T01:08:36Z)
• On-Policy Context Distillation for Language Models [92.82835176360864]
  本稿では, オンライン蒸留とコンテキスト蒸留を橋渡しするフレームワークである, オン・ポリティ・コンテキスト蒸留(OPCD)を提案する。 実験的知識蒸留とシステム急速蒸留の2つの重要な応用におけるOPCDの有効性を実証する。
  論文  参考訳（メタデータ） (2026-02-12T18:58:28Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Progressive distillation induces an implicit curriculum [44.528775476168654]
  より良い教師は必ずしも良い生徒を産むとは限らない。 この原理を実証的に検証した1つの変種はプログレッシブ蒸留であり、そこで学生は教師の連続した中間チェックポイントから学習する。 スパースパリティをサンドボックスとして使用することにより、暗黙のカリキュラムをプログレッシブ蒸留によって学生の学習を加速させる1つのメカニズムとして認識する。
  論文  参考訳（メタデータ） (2024-10-07T19:49:24Z)
• On student-teacher deviations in distillation: does it pay to disobey? [54.908344098305804]
  知識蒸留は「学生」ネットワークのテスト精度を向上させるために広く用いられている。 教師の確率に合うように訓練されているにもかかわらず、生徒は教師の確率から大きく逸脱するだけでなく、パフォーマンスにおいて教師を上回ることもある。
  論文  参考訳（メタデータ） (2023-01-30T14:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。