論文の概要: Instruct, Not Answer: Using Instruction Privileges in On-Policy Context Distillation

• arxiv url: http://arxiv.org/abs/2609.32201v2
• Date: Tue, 29 Sep 2026 19:57:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:25.673449
• Title: Instruct, Not Answer: Using Instruction Privileges in On-Policy Context Distillation
• Title（参考訳）: Instruct, not Answer: using Instruction Privileges in On-Policy Context Distillation
• Abstract要約: 普通の学生のミスを狙う一般的な指示は、OPCD特権として金より優れている。 ProverQA、ProofWriter、ProntoQAをデータセットとして使用した8つの実験のうち7つの実験では、OODの命令特権が4から17ポイント向上した。
• 参考スコア（独自算出の注目度）: 10.86736025698857
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-Policy Context Distillation (OPCD) has recently emerged as a powerful technique for transferring context to student models and for self-improvement. In OPCD, the teacher is conditioned on privileged information, and the goal is to minimize the Kullback-Leibler (KL) divergence between the privileged teacher and the student, evaluated on student-generated tokens. Many existing studies show that using instance-specific gold answers or gold demonstrations as the default privilege can hurt training performance, especially out-of-distribution (OOD). In this work, we instead design general instructions that target common student mistakes observed on the training samples, and show that such simple instructions can outperform gold as the OPCD privilege. In autoformalization tasks, using a matched formatting instruction as the privilege could outperform gold in OOD accuracy by a large margin. In 7 out of 8 experiments using ProverQA, ProofWriter, and ProntoQA as datasets, and Qwen3-Thinking and Olmo3-Thinking families as models, matched instruction privileges outperform gold in OOD by 4 to 17 points, while remaining on par with gold in-domain. Each instruction is only a few sentences (and thus contains much less information compared to all instance-specific gold) and is applied uniformly to every training sample. These results indicate that a general instruction, which applies equally to source and target domain examples, can be substantially more transferable than instance-specific gold in OPCD while maintaining in-domain performance.
• Abstract（参考訳）: On-Policy Context Distillation (OPCD)は、最近、学生モデルへのコンテキスト転送と自己改善のための強力な技術として登場した。 OPCDでは、教師は特権情報に条件付けされており、特権教師と学生の間のKL(Kulback-Leibler)のばらつきを最小限に抑え、学生が生成したトークンに基づいて評価する。 多くの既存研究では、インスタンス固有の金の回答や金のデモンストレーションをデフォルトの特権として使用すると、トレーニングのパフォーマンス、特にアウト・オブ・ディストリビューション(OOD)が損なわれることが示されている。 そこで,本研究では,トレーニングサンプルで観察される一般的な学生の誤りを対象とする一般的な命令を設計し,OPCDの特権として金より優れていることを示す。 オートフォーマライゼーションタスクでは、マッチしたフォーマット命令を特権として使用することで、OODの精度を大きなマージンで上回ることができる。 ProverQA、ProofWriter、ProntoQAをデータセットとし、Qwen3-Thinking、Olmo3-Thinkingをモデルとした8つの実験のうち7つの実験では、命令特権はOODで4から17ポイント上回った。 各命令は少数の文(したがってすべてのインスタンス固有の金よりもはるかに少ない情報を含む)であり、すべてのトレーニングサンプルに一様に適用される。 これらの結果は、ソースおよびターゲットドメインの例に等しく適用される一般的な命令は、ドメイン内のパフォーマンスを維持しながら、OPCDのインスタンス固有の金よりも大幅に転送可能であることを示唆している。

関連論文リスト

• V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning [59.47823383593251]
  視覚サンプルモデルでは、視覚的証拠が不十分な流動的な答えを生み出すことができる。 本稿では,参照応答を原子命題に分解するVisuals-Based Reinforcement Learningを紹介する。 我々は,コンポーネントワイド,プレフィックスローカライズされたルーリッククレジットを用いて,同じSFTチェックポイントに基づいてモデルをトレーニングする。
  論文  参考訳（メタデータ） (2026-08-26T09:40:46Z)
• DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
  大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。 DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
  論文  参考訳（メタデータ） (2026-07-02T17:58:29Z)
• OmniOPSD: Rationale-Privileged On-Policy Self-Distillation for Affective Computing [62.62736813348113]
  大規模言語モデルの強化学習は、複雑な推論タスクにおいて深刻な報酬の分散によって妨げられることが多い。 我々は,フロンティア生成論理を教師側の特権的証拠として利用するフレームワークであるOmniOPSDを提案する。 MER-UniBenchの実験では、OmniOPSDは平均スコアが84.19ドルで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2026-06-14T16:51:22Z)
• Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning [12.363923974156636]
  検証可能な報酬からの強化学習は、ロールアウト毎に1つのスカラーを割り当てる。 オンラインの自己蒸留は、特権情報に基づいて同じモデルを教師として振る舞うことでこの問題に対処する。 本研究では,教師がピアロールアウトに成功したことを条件に,HSD(Hindsight Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-06-14T03:37:27Z)
• ViCuR: Visual Cues as Recoverable Privilege for Multimodal On-Policy Distillation [5.131753844398592]
  ViCuRは視覚的に接地された特権型蒸留フレームワークである。 答え側の特権を視覚的手がかりに置き換える。 答えに基づく自己蒸留よりも継続的に改善される。
  論文  参考訳（メタデータ） (2026-06-04T05:18:13Z)
• GAPD: Gold-Action Policy Distillation for Agentic Reinforcement Learning in Knowledge Base Question Answering [64.23115520219609]
  結果に基づくRLに高密度トークンレベルガイダンスを付加する訓練時間金反応政策蒸留フレームワークを提案する。 GAPDはWebQSP、GrailQA、GraphQの最先端技術に一貫して勝っている。
  論文  参考訳（メタデータ） (2026-05-28T08:28:10Z)
• EDGE-OPD: Internalizing Privileged Context with Evidence Guided On-Policy Distillation [5.310892696470208]
  On-Policy Distillation (OPD)はLLMポストトレーニングパラダイムとして広く注目を集めている。 このアプローチの課題は、特権情報によって、意図よりもモデル行動を変えることができることだ。 EviDence GuidEd On-Policy Distillation (EDGE-OPD)を提案する。
  論文  参考訳（メタデータ） (2026-05-22T10:55:15Z)
• PACIT: Unlocking the Power of Examples for Better In-Context Instruction Tuning [6.749012824060019]
  PACITは、望ましい難易度という教育的概念にインスパイアされた、コンテキスト内インストラクションチューニング手法である。 PACITの有効性を実証し、ICITベースラインをドメイン内およびドメイン外の両方でそれぞれ9.16と3.14のROUGE-Lスコアで上回った。
  論文  参考訳（メタデータ） (2023-10-02T04:42:53Z)
• The DLCC Node Classification Benchmark for Analyzing Knowledge Graph Embeddings [2.3605348648054463]
  DLCCベンチマークは,どのクラスを表現できるかという観点から,埋め込みアプローチを解析するためのリソースである。 2つのゴールド標準が提示され、1つは現実世界の知識グラフDBpediaと1つの合成ゴールド標準に基づいている。 我々はDBpedia上の多くのDLコンストラクタが、ゴールド標準で定義されたものと異なる相関パターンを認識することで実際に学習されていることを発見した。
  論文  参考訳（メタデータ） (2022-07-13T07:43:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。