論文の概要: Is More Privileged Information Better? From Solution Traces to Problem-Solving Structure in Self-Distilled Reasoning
- arxiv url: http://arxiv.org/abs/2608.01589v1
- Date: Mon, 03 Aug 2026 01:47:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.294846
- Title: Is More Privileged Information Better? From Solution Traces to Problem-Solving Structure in Self-Distilled Reasoning
- Title（参考訳）: プリヴィグド・インフォメーションはより良いか? 自己蒸留推論における解のトレースから問題解決構造へ
- Abstract要約: オンライン自己蒸留は、参照ソリューションに条件付けられたモデルの特権ビューを使用して、質問のみを観察する学生の視点を監督することにより、推論を改善する。
本稿では,初期状態,目標条件,制約条件,選択された状態遷移経路を記述したトラジェクトリ・グラウンドのガイダンスで,完全な解法を置き換えた問題空間誘導OPSD(PS-OPSD)を提案する。
- 参考スコア（独自算出の注目度）: 17.645367206348222
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On-policy self-distillation (OPSD) improves reasoning by using a privileged view of a model conditioned on reference solutions to supervise a student view that observes only the question. However, the teacher-provided token-level targets may depend on reference-specific information unavailable at inference time. We propose Problem-Space-Guided OPSD (PS-OPSD), which replaces the complete solution with trajectory-grounded guidance describing the initial state, goal conditions, constraints, and a selected state-transition path. The student rollout and OPSD objective remain unchanged. Across three mathematical reasoning benchmarks and model scales ranging from 1.7B to 8B, PS-OPSD achieves the highest aggregate question-only accuracy among the compared methods. Controlled experiments further indicate that guidance relevance and path coherence contribute to these gains, highlighting the representation of privileged information as an important design choice in OPSD.
- Abstract（参考訳）: On-policy Self-distillation (OPSD)は、参照ソリューションに条件付けられたモデルの特権ビューを使用して、質問のみを観察する学生の視点を監督することにより、推論を改善する。
しかし、教師が提供するトークンレベルのターゲットは、推論時に利用できない参照固有情報に依存する可能性がある。
本稿では,初期状態,目標条件,制約,選択された状態遷移経路を記述したトラジェクティブ・グラウンドド・ガイダンスで,完全な解法を置き換えた問題空間誘導OPSD(PS-OPSD)を提案する。
学生のロールアウトとOPSDの目的は変わっていない。
3つの数学的推論ベンチマークとモデルスケールは1.7Bから8Bの範囲で、PS-OPSDは比較した手法の中で最も高い総合的な疑問のみの精度を達成している。
制御された実験は、誘導関連性と経路コヒーレンスがこれらの利得に寄与することを示し、OPSDにおける重要な設計選択として特権情報の表現を強調している。
関連論文リスト
- Rethinking Privileged Information in On-Policy Self-Distillation [45.88028371034407]
On-policy Self-distillation (OPSD)は、特権的参照情報に基づく同じモデルからトークンレベルの監督を使用して、学生に独自の反応を訓練する。
本研究は,OPSDによる性能向上が,学習者が参照中の情報を学習したことを示すか,あるいはベースモデルにすでに存在する推論行動の回復を反映しているかを検討する。
論文 参考訳（メタデータ） (2026-08-18T19:42:16Z) - Latent On-Policy Self-Distillation [55.57800223145407]
On-policy Self-distillation (OPSD) は、特権的な自己教育者を用いて、生徒自身の軌跡を集中的に管理することにより、効果的な経路を提供する。
既存の方法はまだデザイナーが指定した特権的アーティファクトに大きく依存している。
本稿では,教師の特権的文脈自体を経験から学習可能なエンド・ツー・エンドにするため,LOPD(Latent On-Policy Self-Distillation)を導入する。
論文 参考訳（メタデータ） (2026-08-13T10:05:51Z) - Advantage-Guided Gate: Reshaping Open-Ended Reasoning for Vision-Based Spatial Intelligence [70.8951332710039]
マルチモーダル大言語モデル (MLLM) は複雑な空間的シーン理解と推論タスクにおいて有意な可能性を証明している。
しかし、彼らのオープンな推論プロセスは、意思決定の誤りやエラーの蓄積を招きやすいため、回答の品質が不安定になる。
本稿では,推論過程において動的に介入し,偏差を補正するアドバンテージ誘導型ゲーティングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-08T07:46:04Z) - dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。
監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。
On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
論文 参考訳（メタデータ） (2026-07-05T17:47:29Z) - DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。
DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
論文 参考訳（メタデータ） (2026-07-02T17:58:29Z) - Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。
まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。
第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
論文 参考訳（メタデータ） (2026-07-02T14:33:07Z) - Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。
その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
論文 参考訳（メタデータ） (2026-06-17T17:54:04Z) - Teaching the Way, Not the Answer: Privileged Tutoring Distillation for Multimodal Policy Optimization [22.479229036646156]
検証リワードを用いた強化学習のためのPrivileged Tutoring Distillation Policy Optimizationフレームワークを提案する。
PTD-POは、生徒の方針に答えることなく、密集したガイダンスを提供する。
2Bから8BまでのLVLM実験では、PTD-POはRLVRや蒸留ベースラインより一貫して優れていた。
論文 参考訳（メタデータ） (2026-06-05T07:43:22Z) - EDGE-OPD: Internalizing Privileged Context with Evidence Guided On-Policy Distillation [5.310892696470208]
On-Policy Distillation (OPD)はLLMポストトレーニングパラダイムとして広く注目を集めている。
このアプローチの課題は、特権情報によって、意図よりもモデル行動を変えることができることだ。
EviDence GuidEd On-Policy Distillation (EDGE-OPD)を提案する。
論文 参考訳（メタデータ） (2026-05-22T10:55:15Z) - OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning [19.98950359294245]
本研究は,教師の特権分布を自己の自給自足軌道に沿って蒸留することにより,言語モデルによる推論能力の向上を図ることを目的とする。
OPSDの性能向上にもかかわらず,教師と生徒の反応のミスマッチがよく見過ごされがちである。
論文 参考訳（メタデータ） (2026-05-12T17:00:53Z) - Optimizing In-Context Demonstrations for LLM-based Automated Grading [31.353360036776976]
GUIDE(Grading Using Iteratively Designed Exemplars)は、経験的選択と改善を境界中心の最適化問題として再設計するフレームワークである。
物理, 化学, 教育的内容知識の実験において, GUIDE は標準的検索基準を著しく上回っていることを示す。
論文 参考訳（メタデータ） (2026-02-28T04:52:38Z) - Mitigating Spurious Correlations Between Question and Answer via Chain-of-Thought Correctness Perception Distillation [25.195244084313114]
CoPeD (Chain-of-Thought Correctness Perception Distillation) は,学生モデルの推論品質の向上を目的としている。
CoPeDは学生モデルに対して、正しい合理性に基づいて回答を予測し、誤ったときに修正するよう推奨する。
論文 参考訳（メタデータ） (2025-09-06T05:33:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。