論文の概要: Same Evidence, Different Answers: Canonical-Context On-Policy Distillation for Multi-Turn Language Models

• arxiv url: http://arxiv.org/abs/2605.30251v1
• Date: Thu, 28 May 2026 17:14:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.578884
• Title: Same Evidence, Different Answers: Canonical-Context On-Policy Distillation for Multi-Turn Language Models
• Title（参考訳）: 同一の証拠, 異なる回答:多言語モデルにおける標準文脈オンポリシィ蒸留
• Authors: Zizhuo Lin, Quanling Liu, Jinsheng Quan, Chao Zhang, Yifan Zhu, Xing Shi, Jingtao Xu, Zhihui Li, Yawei Luo,
• Abstract要約: 大規模言語モデル(LLM)は、全ての命令が1つのプロンプトで与えられると、そのタスクを解くが、同じ情報が順番に徐々に明らかにされると失敗する。 CCOPD(Canonical-Context On-Policy Distillation)を提案する。 CCOPDは、生徒の行動と教師の標準的全文行動の軌跡を一致させる。
• 参考スコア（独自算出の注目度）: 20.632872944034705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) often solve a task when all instructions are given in a single prompt, but fail when the same information is revealed gradually across turns. When a clean FULL prompt and a RAW-SHARDED conversation contain the same complete user evidence, the model should still arrive at the same answer. We argue that a key reason for this gap is self-anchored drift: responses produced under partial information introduce unsupported assumptions, and those assumptions later distort the final answer. To reduce this effect, we propose Canonical-Context On-Policy Distillation (CCOPD). During training, the same base model is used in two roles: a frozen teacher conditioned on the clean FULL prompt and a trainable student that receives the same evidence incrementally through a multi-turn conversation; CCOPD aligns the student's behavior on its own trajectories with the teacher's canonical full-context behavior. Trained only on math problem conversations, CCOPD yields a 32\% average relative improvement in RAW-SHARDED performance over the original base model across math and five zero-shot out-of-domain task families, while largely preserving full-context performance. Further analyses suggest that CCOPD strengthens grounding in user evidence and reduces sensitivity to contamination from earlier assistant turns.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、全ての命令が1つのプロンプトで与えられると、そのタスクを解くが、同じ情報が順番に徐々に明らかにされると失敗する。 クリーンなFULLプロンプトとRAW-SHARDEDの会話が、同じ完全なユーザエビデンスを含んでいる場合、モデルは同じ回答に到達すべきである。 このギャップの鍵となる理由は自己認識的ドリフトであり、部分的な情報の下で生成された応答は許容される仮定を導入し、これらの仮定は後に最終回答を歪ませる。 この効果を低減するために,CCOPD (Canonical-Context On-Policy Distillation) を提案する。 トレーニング中、同じベースモデルは、クリーンなFULLプロンプトに条件付けされた凍結教師と、マルチターン会話を通じて同じエビデンスを段階的に受ける訓練可能な学生の2つの役割で使用される。 CCOPDは数学の会話だけに基づいて訓練され、算術全体にわたってRAW-SHARDEDの性能を平均32%向上させ、ドメイン外の5つのゼロショットタスクファミリを保ちながら、フルコンテキストのパフォーマンスを保っている。 さらなる分析により、CCOPDはユーザ証拠の接地を強化し、初期のアシスタントターンからの汚染に対する感受性を低下させることが示唆された。

関連論文リスト

• Find, Fix, Reason: Context Repair for Video Reasoning [45.021693494492666]
  強化学習は、大規模なマルチモーダルモデルにおいて高度なビデオ推論を持つ。 凍結したツール統合された教師は、時間的依存の欠如を認識し、最小限のエビデンスパッチを提供する。 本稿では,正解による結果の妥当性と依存性の整合性という2つの目標に最適化を整合させるロバスト改善リワード(RIR)を提案する。
  論文  参考訳（メタデータ） (2026-04-17T17:04:19Z)
• Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
  本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。 本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。 トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
  論文  参考訳（メタデータ） (2026-01-05T10:16:41Z)
• Semantic Soft Bootstrapping: Long Context Reasoning in LLMs without Reinforcement Learning [46.765013720309064]
  大規模言語モデル(LLM)における長期文脈推論は、チェーン・オブ・ソート(CoT)推論による認知能力の向上を実証している。 このようなモデルのトレーニングは通常、数学やプログラミングのような推論に基づく問題において、検証可能な報酬(RLVR)を用いた強化学習によって行われる。 我々は,教師と学生の両方の役割を同一のベース言語モデルで担う自己蒸留技術であるtextbfSemantic Soft Bootstrapping (SSB) を提案する。
  論文  参考訳（メタデータ） (2025-12-04T18:59:18Z)
• Decomposition-Enhanced Training for Post-Hoc Attributions In Language Models [64.49342399229529]
  我々は、ポストホック帰属を推論問題として再編成し、回答を構成単位に分解し、それぞれ特定の文脈に結び付けることができると論じる。 DecompTuneは、モデルに中間的推論ステップとして解解分解を生成することを教えるポストトレーニング手法である。 DecompTuneは、広範な実験と改善を通じて、属性の品質を大幅に改善し、先行手法より優れ、最先端のフロンティアモデルに適合または超えている。
  論文  参考訳（メタデータ） (2025-10-29T17:58:59Z)
• Mitigating Spurious Correlations Between Question and Answer via Chain-of-Thought Correctness Perception Distillation [25.195244084313114]
  CoPeD (Chain-of-Thought Correctness Perception Distillation) は,学生モデルの推論品質の向上を目的としている。 CoPeDは学生モデルに対して、正しい合理性に基づいて回答を予測し、誤ったときに修正するよう推奨する。
  論文  参考訳（メタデータ） (2025-09-06T05:33:17Z)
• Context-Informed Grounding Supervision [102.11698329887226]
  コンテキストインフォームド・グラウンド(Context-Informed Grounding Supervision, CINGS)は、モデルが応答に先立って関連するコンテキストでトレーニングされる訓練後の監督である。 実験により, CINGSで訓練したモデルでは, テキスト領域と視覚領域の両方において, より強い基底が示されることがわかった。
  論文  参考訳（メタデータ） (2025-06-18T14:13:56Z)
• Improve Student's Reasoning Generalizability through Cascading Decomposed CoTs Distillation [24.272384832200522]
  これらの問題に対処するため,Cascading Decomposed CoTs Distillation (CasCoD)を提案する。 CasCoDの2段階の学習プロセスは、学生が予め設定された回答から干渉することなく、理性を学ぶことに集中することを保証する。
  論文  参考訳（メタデータ） (2024-05-30T08:49:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。