論文の概要: Predicting Privileged Information Effectiveness for On-Policy Self-Distillation

• arxiv url: http://arxiv.org/abs/2610.22512v1
• Date: Thu, 15 Oct 2026 18:05:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.617655
• Title: Predicting Privileged Information Effectiveness for On-Policy Self-Distillation
• Title（参考訳）: オンデマンド自己蒸留におけるプリビリード情報の有効性の予測
• Abstract要約: On-policy Self-distillation (OPSD) は、大きな言語モデルにおいて、個別の教師モデルなしで特権情報(PI)から学習することができる。 3つのマルチターンエージェントベンチマークと3つの学生モデルで16のPI構成を体系的に評価した。 PIの有効性は、その内容、生成元、および学生モデルに依存する。
• 参考スコア（独自算出の注目度）: 10.480294597169632
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: On-policy self-distillation (OPSD) enables large language models (LLMs) to learn from privileged information (PI) without a separate teacher model. However, prior work largely treats PI as a fixed design choice, leaving the effects of its content and construction poorly understood. This challenge is particularly important in multi-turn agentic settings, where trajectories contain actions, observations, and reasoning that can be transformed into PI in many ways. We systematically evaluate 16 PI configurations across three multi-turn agentic benchmarks and three student models that vary in scale and reasoning mode. We find that PI effectiveness depends on its content, generation source, and the student model. Information-dense trajectories and PI produced by more capable generators generally yield larger gains, whereas thinking models benefit less consistently. To assess PI before training, we compare PI utility with two KL-based metrics: sampled-token reverse KL ($D$) and error-step KL contrast ($Δd^{-}_{\mathrm{err}}$). The KL-based metrics track post-training performance more consistently than PI utility, which can be distorted by information leakage. Empirically, selecting each task's PI by $Δd^{-}_{\mathrm{err}}$ also improves post-training performance over random selection, most when the PI candidates differ widely. Finally, effective PI remains beneficial when combined with GRPO, allowing the combined objective to outperform a strong GRPO baseline. Overall, our results provide practical guidance for constructing and evaluating PI in OPSD training.
• Abstract（参考訳）: On-policy Self-distillation (OPSD) は、大きな言語モデル(LLM)が、個別の教師モデルなしで特権情報(PI)から学ぶことを可能にする。 しかし、以前の研究はほとんどがPIを固定設計の選択として扱い、その内容と構造の影響はよく分かっていない。 この課題は、様々な方法でPIに変換できる行動、観察、推論を含むマルチターンエージェント設定において特に重要である。 3つのマルチターンエージェントベンチマークと3つの学生モデルにまたがる16個のPI構成を系統的に評価した。 PIの有効性は、その内容、生成元、および学生モデルに依存する。 より有能な発電機によって生産される情報密度軌跡とPIは一般的により大きな利得を得るが、思考モデルは一貫して利益を得られない。 トレーニング前のPIを評価するために、PIユーティリティと2つのKLベースのメトリクスを比較する: sampled-token reverse KL(D$)と error-step KL contrast(Δd^{-}_{\mathrm{err}}$)。 KLベースのメトリクスは、情報漏洩によって歪むことができるPIユーティリティよりも、トレーニング後のパフォーマンスを一貫して追跡する。 実証的に、$Δd^{-}_{\mathrm{err}}$で各タスクのPIを選択すると、乱選択よりもトレーニング後のパフォーマンスが向上する。 最後に、有効PIはGRPOと組み合わせても有益であり、組み合わせた目的が強いGRPOベースラインより優れている。 その結果,OPSDトレーニングにおけるPIの構築と評価の実践的ガイダンスが得られた。

関連論文リスト

• Rubrics as Privileged Information for Open-Ended Generation [1.840946383877556]
  オンライン自己蒸留(OPSD)は数学のような検証可能な領域において有望であることを示している。 OPSDをソフトPIを用いたオープンエンド生成に拡張し、好みを誘導するが、多くの有効な応答を許容するルーリックの形で表現する。 ソフトPIは, 学生のロールアウトにおいて, ハードレファレンス・コンプリートPIよりも, より大きく, より効果的なトレーニング信号を提供することを示す。
  論文  参考訳（メタデータ） (2026-08-03T23:25:50Z)
• Privileged Information Distillation for Language Models [45.6813438056167]
  訓練時特権情報(PI)は、言語モデルが失敗する可能性のあるタスクを成功させることを可能にする。 PIで学んだ能力を、推論時間なしで行動しなければならないポリシーに転送することは、依然として根本的な課題である。 同モデルを用いてPI条件の教師と無条件の学生を同時に訓練する共同教師学生目標である-Distillを紹介する。 また,学生とPI条件の教師との間には,逆KLペナルティを持つ強化学習(RL)を用いた学習方法として,OPSD(On-Policy Self-Distillation)を導入する。
  論文  参考訳（メタデータ） (2026-02-04T18:46:17Z)
• GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization [133.27496265096445]
  我々は,グループ相対的政策最適化を,その適合性を検討することなく,マルチリワード設定で適用する方法を示す。 次に、これらの問題を解決するための新しい政策最適化手法であるグループ報酬分離正規化政策最適化(GDPO)を紹介する。 GDPOはGRPOを一貫して上回り、マルチリワード強化学習最適化の有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2026-01-08T18:59:24Z)
• Pi-DUAL: Using Privileged Information to Distinguish Clean from Noisy Labels [47.85182773875054]
  クリーンなラベルを識別するために特権情報(PI)を利用するアーキテクチャであるPi-DUALを導入する。 Pi-DUALは、主要なPIベンチマークで大幅なパフォーマンス向上を実現し、新しい最先端のテストセットの精度を確立する。 Pi-DUALは、PIを用いた様々な現実シナリオにおけるラベルノイズの影響を軽減するための、シンプルでスケーラブルで実践的なアプローチである。
  論文  参考訳（メタデータ） (2023-10-10T13:08:50Z)
• When does Privileged Information Explain Away Label Noise? [66.9725683097357]
  ラベルノイズを除去する際のPIの特性の違いによる役割について検討する。 ネットワークがノイズの多いデータとクリーンなデータを容易に区別できる場合、PIが最も役立ちます。 本稿では,最新のPI手法のいくつかの改良を提案し,ラベルノイズに対処する手段としてのPIの可能性を示す。
  論文  参考訳（メタデータ） (2023-03-03T09:25:39Z)
• Constructing Prediction Intervals with Neural Networks: An Empirical Evaluation of Bootstrapping and Conformal Inference Methods [0.0]
  この作業は、ネットワーク設計の選択と、ANNでより優れたパフォーマンスのPIを作成するための推論方法を提供する。 画像ベースデータセットを含む11データセット間で2段階の実験が実行される。
  論文  参考訳（メタデータ） (2022-10-07T23:16:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。