論文の概要: When Context Returns: Toward Robust Internalization in On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2606.11627v1
• Date: Wed, 10 Jun 2026 03:43:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.275312
• Title: When Context Returns: Toward Robust Internalization in On-Policy Distillation
• Title（参考訳）: コンテキストが戻るとき:オン・ポリシィ蒸留におけるロバストな内部化に向けて
• Authors: Xun Wang, Ruishuo Chen, Zhuoran Li, Yu Chen, Longbo Huang,
• Abstract要約: 多くの設定において、蒸留された学生に元の特権的コンテキストを再導入することは、実際にその性能を低下させる。 そこで本稿では,学習者の非文脈出力を停止次数でアンカーし,それから逸脱するための文脈条件付き出力をペナライズする軽量整合正則化器を提案する。 本手法は, 文脈条件の精度を向上し, 12設定中11設定でコンテキスト依存性の害を低減し, 応答長インフレーションを効果的に除去する。
• 参考スコア（独自算出の注目度）: 36.31894794808421
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has shown that on-policy distillation can internalize privileged context, such as system prompts or task hints, into a student model so that the context is no longer needed at inference time. Although this approach successfully improves the student's no-context performance, we identify an interesting and previously unstudied phenomenon: in many settings, reintroducing the original privileged context to the distilled student actually degrades its performance, even on instances it already solves correctly without context. We term this context-induced degradation and argue that robust internalization demands not only matching the teacher's context-conditioned behavior, but also remaining stable when the context is reintroduced, a property we call context removability. Motivated by this observation, we propose a lightweight consistency regularizer that first anchors the student's no-context output via stop-gradient, then penalizes the context-conditioned output for deviating from it via forward KL divergence. This simple addition requires only one extra forward pass per training step, yet it effectively mitigates context-induced degradation and, in many cases, even improves no-context performance. Across 12 configurations spanning diverse domains and model families, our method improves context-conditioned accuracy in the majority of settings, reduces context-induced harm in 11 out of 12 settings, and effectively eliminates response-length inflation. A mechanistic case study further confirms that context removability is achieved at the representation level, with hidden states remaining nearly identical regardless of whether the context is present.
• Abstract（参考訳）: 近年の研究では、オンライン蒸留は、システムプロンプトやタスクヒントのような特権付きコンテキストを学生モデルに内在させ、推論時にコンテキストが不要になることを示した。 このアプローチは, 学生の非コンテキスト性能を向上するが, 興味深く未調査な現象を識別する。多くの設定において, 蒸留された学生に元の特権的コンテキストを再導入することは, 文脈なしで既に解決済みの事例においても, 実際にその性能を劣化させる。 我々は、この文脈によって引き起こされる劣化を表現し、頑健な内在化要求は教師の文脈条件の振る舞いに合致するだけでなく、文脈の再導入時に安定していなければならない、と論じる。 そこで本研究では,まず,学習者のノンコンテクスト出力を停止次数でアンカーし,次に,前向きKL偏差によるコンテキスト条件付き出力をペナライズする,軽量な整合正則化器を提案する。 この単純な追加はトレーニングステップ毎に1回だけ追加のフォワードパスを必要とするが、コンテキストによって引き起こされる劣化を効果的に軽減し、多くの場合、コンテキストなしのパフォーマンスも改善する。 多様なドメインやモデルファミリにまたがる12の構成において、多くの設定においてコンテキスト条件の精度が向上し、12設定中11設定でコンテキスト条件による害を低減し、応答長インフレーションを効果的に排除する。 メカニスティックケーススタディでは、文脈の除去性は表現レベルで達成され、コンテキストの有無に関わらず隠れた状態はほぼ同一であることを確認した。

関連論文リスト

• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Reinforcement Learning in Presence of Discrete Markovian Context Evolution [7.467644044726776]
  a) 直接観測不可能な文脈の未知の有限個の数、b) エピソード中に突然発生する(不連続な)文脈変化、c) マルコフ的文脈進化を特徴とする文脈依存強化学習環境を考える。 我々はモデル学習に先立って、粘着した階層的ディリクレプロセス(HDP)を適用する。 これら2つのコンポーネントの組み合わせによって、コンテキストの濃度仮定を扱うデータからコンテキストの数を推測することが可能である、と我々は主張する。
  論文  参考訳（メタデータ） (2022-02-14T08:52:36Z)
• Measuring and Increasing Context Usage in Context-Aware Machine Translation [64.5726087590283]
  機械翻訳モデルによるコンテキストの使用を定量的にするために、新しいメトリクス、条件付き相互情報を導入します。 次に,コンテキスト認識モデルによってコンテキストの使用量を増やすために,コンテキスト認識ワードドロップアウトという,新しい簡易なトレーニング手法を導入する。
  論文  参考訳（メタデータ） (2021-05-07T19:55:35Z)
• Don't Judge an Object by Its Context: Learning to Overcome Contextual Bias [113.44471186752018]
  既存のモデルは、認識精度を向上させるために、オブジェクトとそのコンテキスト間の共起を利用することが多い。 この研究は、学習した特徴表現の堅牢性を改善するために、そのような文脈バイアスに対処することに焦点を当てている。
  論文  参考訳（メタデータ） (2020-01-09T18:31:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。