論文の概要: Quantifying the Value of Privileged Information Using a PAC-Bayesian Approach

• arxiv url: http://arxiv.org/abs/2609.12891v1
• Date: Fri, 11 Sep 2026 14:20:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.771839
• Title: Quantifying the Value of Privileged Information Using a PAC-Bayesian Approach
• Title（参考訳）: PAC-Bayesianアプローチによる原始情報の価値の定量化
• Abstract要約: 本稿では,PAC-Bayesフレームワークに基づくアルゴリズムに依存しない情報理論手法を提案する。 最も達成可能なリスクをPIと無関係に比較すれば、そのポテンシャルが得られます。 その結果, 実時間測定値と実時間評価値との頑健な対応性を示した。
• 参考スコア（独自算出の注目度）: 5.285335662753427
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In practice, various learning scenarios provide access to auxiliary features exclusively during training. Incorporating such data to enhance model performance gave rise to a paradigm known as Learning Using Privileged Information (LUPI). While this extra information is intended to improve the resulting model, establishing a generalized, cohesive understanding of how privileged information (PI) transfers useful knowledge remains a challenge. Vapnik's original theory and subsequent works offer performance guarantees in certain cases, but these results are inherently per-algorithm and rely on setting-specific proof approaches. Consequently, a more general framework explaining how and when PI transfers useful knowledge is still missing. To bridge this gap, we introduce an algorithm-agnostic, information-theoretic approach based on the PAC-Bayes framework. Rather than asking whether a particular algorithm exploits PI, we ask how much value it could offer: comparing the tightest achievable risk bound with and without PI yields its potential - an upper limit on the extractable gain. We introduce a metric that quantifies this potential directly from empirical training risk, bypassing the need for test-time data access, and validate our findings in both supervised and unsupervised settings. The results demonstrate a robust correspondence between our training-time metric and true test-time performance gains. Ultimately, this work takes a necessary step toward an information-theoretic understanding of LUPI, and quantifying the potential of privileged features before committing to a model.
• Abstract（参考訳）: 実際に、様々な学習シナリオは、トレーニング中にのみ補助的な機能へのアクセスを提供する。 このようなデータをモデルの性能を高めるために組み込むことで、Learning Using Privileged Information (LUPI)と呼ばれるパラダイムが生まれた。 この余分な情報は、結果のモデルを改善することを目的としているが、特権情報(PI)がどのように有用な知識を伝達するかに関する一般化された密集的な理解を確立することは、依然として課題である。 ヴァプニクの原理論とその後の研究は、特定の場合において性能保証を提供するが、これらの結果は本質的にはアルゴリズムごとのものであり、設定固有の証明アプローチに依存している。 したがって、PIが有用な知識をいかに、いつ移行するかを説明するより一般的なフレームワークは、いまだに欠落している。 このギャップを埋めるために,PAC-Bayesフレームワークに基づくアルゴリズムに依存しない情報理論アプローチを導入する。 特定のアルゴリズムがPIを利用するかどうかを問うのではなく、どれだけの価値を提供できるのかを問う。 実験的なトレーニングリスクから直接この可能性を定量化し、テスト時間データアクセスの必要性を回避し、教師なしと教師なしの両方の設定で結果を検証する指標を導入する。 その結果, 実時間測定値と実時間評価値との頑健な対応性を示した。 最終的に、この研究はLUPIの情報理論的な理解に向けて必要な一歩を踏み出し、モデルにコミットする前に特権的特徴の可能性を定量化する。

関連論文リスト

• Data-dependent Exploration for Online Reinforcement Learning from Human Feedback [50.34161049551627]
  人的フィードバックからのオンライン強化学習(RLHF)は、トレーニング中に新たな嗜好フィードバックを継続的に収集することにより、大規模言語モデル(LLM)を整合させるための有望なパラダイムとして登場した。 既存の調査戦略は、しばしば政治上の期待を通じてボーナスを導き出すが、これは訓練中に利用できる限られた歴史的嗜好データから確実に見積もることが難しい。 高不確実性領域に対する余分な不確実性ボーナスを構築するために、履歴データを活用するシンプルでスケーラブルなデータ依存型選好最適化法(DEPO)を提案する。
  論文  参考訳（メタデータ） (2026-05-06T03:56:45Z)
• Retaining by Doing: The Role of On-Policy Data in Mitigating Forgetting [40.80967570661867]
  言語モデルをポストトレーニングによって新しいタスクに適応することは、既存の能力を劣化させるリスクをもたらす。 教師付き微調整(SFT)と強化学習(RL)の2つの広く採用されているポストトレーニング手法の忘れパターンを比較した。 RLはSFTよりも忘れられがちだが、目標タスクのパフォーマンスは同等か高い。
  論文  参考訳（メタデータ） (2025-10-21T17:59:41Z)
• Embedding Domain Knowledge for Large Language Models via Reinforcement Learning from Augmented Generation [18.99847259801634]
  本稿では,RLAG(Reinforcement Learning from Augmented Generation)を提案し,ドメイン知識を大規模言語モデルに組み込む。 提案手法は, サンプリング世代間を反復的に循環し, 計算した報酬によってモデルを最適化する。 医学、法学、天文学、および現在のイベントデータセットにわたる実験結果から、提案手法がベースラインアプローチを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2025-09-24T14:30:16Z)
• From Parameters to Prompts: Understanding and Mitigating the Factuality Gap between Fine-Tuned LLMs [4.447729258258283]
  未知の知識と未知の知識を微調整する際に生じる事実のギャップについて検討する。 我々の結果は、微調整データとテストタイムプロンプトの相互作用に光を当てた。
  論文  参考訳（メタデータ） (2025-05-29T12:59:30Z)
• When to Speak, When to Abstain: Contrastive Decoding with Abstention [12.639085523137998]
  大規模言語モデル(LLM)は、事前訓練された(パラメトリック)知識と外部(文脈)知識を活用することで、様々なタスクにまたがる例外的なパフォーマンスを示す。 本稿では,LLMが関連する知識が利用可能であれば応答を生成でき,それ以外は無視できる新しい学習自由復号法であるContrastive Decoding with Abstentionを提案する。
  論文  参考訳（メタデータ） (2024-12-17T04:38:08Z)
• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [73.34893326181046]
  本稿では,効率的なモデル適応によりRAGシステムを強化する自己教師型フレームワークKBAlignを提案する。 私たちのキーとなる洞察は、2つの革新的なメカニズムを通じて、モデルの本質的な能力を知識の整合性に活用することです。 KBAlign は GPT-4 による適応によって得られる性能向上の90%を達成できることを示した。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• Rethinking Knowledge Transfer in Learning Using Privileged Information [13.073942036130486]
  教師付き機械学習において、特権情報(英: privileged information, PI)とは、推論時に利用できないが、訓練期間中に利用できる情報である。 特権情報(LUPI)を用いた学習の研究は、PIで取得した知識をPIなしで推論できるモデルに転送することを目的としている。 LUPIがいつ動作するべきかという理論的根拠はほとんどない。
  論文  参考訳（メタデータ） (2024-08-26T14:51:26Z)
• Realistic Unsupervised CLIP Fine-tuning with Universal Entropy Optimization [101.08992036691673]
  本稿では,未知のクラスにおける配布外サンプルの存在を考慮し,教師なしの微調整シナリオについて考察する。 特に,分布外検出と既知のクラスに関連するインスタンスの認識を同時に強化することに注力する。 我々はUniversal Entropy Optimization(UEO)と呼ばれるシンプルで効率的で効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-24T16:47:17Z)
• STEERING: Stein Information Directed Exploration for Model-Based Reinforcement Learning [111.75423966239092]
  遷移モデルの現在の推定値と未知の最適値との間の積分確率距離(IPM)の観点から探索インセンティブを提案する。 KSDに基づく新しいアルゴリズムを開発した。 textbfSTEin information dirtextbfEcted Explor for model-based textbfReinforcement Learntextbfing。
  論文  参考訳（メタデータ） (2023-01-28T00:49:28Z)
• Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
  メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。 本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)
• Knowledge-driven Active Learning [70.37119719069499]
  アクティブな学習戦略は、ディープラーニングモデルをトレーニングするために必要なラベル付きデータの量を最小限にすることを目的としている。 ほとんどの積極的な戦略は不確実なサンプルの選択に基づいており、しばしば決定境界に近いサンプルに制限される。 本稿では、一般的なドメイン知識を考慮し、エキスパートでないユーザがより少ないサンプルでモデルを訓練できるようにする。
  論文  参考訳（メタデータ） (2021-10-15T06:11:53Z)
• Provably Efficient Reward-Agnostic Navigation with Linear Value Iteration [143.43658264904863]
  我々は、最小二乗値スタイルのアルゴリズムで一般的に使用される、より標準的なベルマン誤差の概念の下での反復が、ほぼ最適値関数の学習において強力なPAC保証を提供することを示す。 そこで本稿では,任意の(線形な)報酬関数に対して,最適に近いポリシーを学習するためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2020-08-18T04:34:21Z)
• Privileged Information Dropout in Reinforcement Learning [56.82218103971113]
  トレーニング中に特権情報を使用することで、機械学習システムのサンプル効率とパフォーマンスを向上させることができる。 本研究では,価値に基づく強化学習アルゴリズムとポリシーに基づく強化学習アルゴリズムに等しく適用可能なプライヴィレグ情報ドロップアウト(pid)について検討する。
  論文  参考訳（メタデータ） (2020-05-19T05:32:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。