論文の概要: Relative Information Gain and Gaussian Process Regression

• arxiv url: http://arxiv.org/abs/2510.04277v1
• Date: Sun, 05 Oct 2025 16:35:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.555893
• Title: Relative Information Gain and Gaussian Process Regression
• Title（参考訳）: 相対情報ゲインとガウス過程回帰
• Authors: Hamish Flynn,
• Abstract要約: 観測ノイズに対する情報ゲインの感度を計測する相対情報ゲインと呼ばれる新しい量を導入する。 本研究では, 相対情報ゲインが有効次元と情報ゲインとをスムーズに補間し, 相対情報ゲインが有効次元と同じ成長速度を有することを示す。
• 参考スコア（独自算出の注目度）: 1.624454100511275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The sample complexity of estimating or maximising an unknown function in a reproducing kernel Hilbert space is known to be linked to both the effective dimension and the information gain associated with the kernel. While the information gain has an attractive information-theoretic interpretation, the effective dimension typically results in better rates. We introduce a new quantity called the relative information gain, which measures the sensitivity of the information gain with respect to the observation noise. We show that the relative information gain smoothly interpolates between the effective dimension and the information gain, and that the relative information gain has the same growth rate as the effective dimension. In the second half of the paper, we prove a new PAC-Bayesian excess risk bound for Gaussian process regression. The relative information gain arises naturally from the complexity term in this PAC-Bayesian bound. We prove bounds on the relative information gain that depend on the spectral properties of the kernel. When these upper bounds are combined with our excess risk bound, we obtain minimax-optimal rates of convergence.
• Abstract（参考訳）: 再生されたカーネルヒルベルト空間における未知の関数を推定または最大化するサンプルの複雑さは、有効次元とカーネルに関連する情報ゲインの両方にリンクすることが知られている。 情報ゲインは魅力的な情報理論の解釈を持つが、有効次元は典型的にはより良いレートをもたらす。 観測ノイズに対する情報ゲインの感度を計測する相対情報ゲインと呼ばれる新しい量を導入する。 本研究では, 相対情報ゲインが有効次元と情報ゲインとをスムーズに補間し, 相対情報ゲインが有効次元と同じ成長速度を有することを示す。 論文の後半では、ガウス過程の回帰に拘束される新しいPAC-ベイジアン過剰リスクを証明した。 相対情報ゲインは、このPAC-ベイズ境界における複雑性項から自然に生じる。 我々は、カーネルのスペクトル特性に依存する相対情報ゲインの有界性を証明する。 これらの上限が過剰なリスク境界と組み合わされると、極小最大収束率が得られる。

関連論文リスト

• Response to Promises and Pitfalls of Deep Kernel Learning [117.04303786609508]
  このノートは「深層カーネル学習の約束と落とし穴」(Ober et al., 2021)に反応する。 ガウス過程の限界確率は、データ適合項と複雑性ペナルティに分解できる。
  論文  参考訳（メタデータ） (2025-09-25T14:31:42Z)
• InterFormer: Effective Heterogeneous Interaction Learning for Click-Through Rate Prediction [83.7578502046955]
  我々はインターリービング方式で異種情報インタラクションを学習するInterFormerという新しいモジュールを提案する。 提案するInterFormerは,3つのパブリックデータセットと大規模産業データセットに対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-11-15T00:20:36Z)
• Universal Spreading of Conditional Mutual Information in Noisy Random Circuits [1.6437645274005803]
  一般開放量子系における条件付き相互情報の進化について検討する。 誤差率$p$のノイズランダム回路は条件付き相互情報の超線形伝播を示す。
  論文  参考訳（メタデータ） (2024-02-28T18:31:14Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Information Theoretic Lower Bounds for Information Theoretic Upper Bounds [14.268363583731848]
  コンベックス最適化の文脈における出力モデルと経験的一般化の関係について検討する。 本研究は,真のリスク最小化には相互情報が必要であることを明らかにする。 既存の情報理論の一般化境界は、SGDや正規化などのアルゴリズムの能力を捉えるのに不足している。
  論文  参考訳（メタデータ） (2023-02-09T20:42:36Z)
• STEERING: Stein Information Directed Exploration for Model-Based Reinforcement Learning [111.75423966239092]
  遷移モデルの現在の推定値と未知の最適値との間の積分確率距離(IPM)の観点から探索インセンティブを提案する。 KSDに基づく新しいアルゴリズムを開発した。 textbfSTEin information dirtextbfEcted Explor for model-based textbfReinforcement Learntextbfing。
  論文  参考訳（メタデータ） (2023-01-28T00:49:28Z)
• Sample-Efficient Reinforcement Learning in the Presence of Exogenous Information [77.19830787312743]
  実世界の強化学習アプリケーションでは、学習者の観察空間は、その課題に関する関連情報と無関係情報の両方でユビキタスに高次元である。 本稿では,強化学習のための新しい問題設定法であるExogenous Decision Process (ExoMDP)を導入する。 内因性成分の大きさのサンプル複雑度で準最適ポリシーを学習するアルゴリズムであるExoRLを提案する。
  論文  参考訳（メタデータ） (2022-06-09T05:19:32Z)
• A Short Note on the Relationship of Information Gain and Eluder Dimension [86.86653394312134]
  エルダー次元と情報ゲインは、カーネルヒルベルト空間を再現する正確な意味で等価であることを示す。 これは偶然ではなく、エルダー次元と情報ゲインは、カーネルヒルベルト空間を再現する正確な意味で等価であることを示す。
  論文  参考訳（メタデータ） (2021-07-06T04:01:22Z)
• Delocalization of quantum information in long-range interacting systems [0.0]
  XY$スピン鎖の非平衡力学における量子情報の非局在化について検討する。 本研究は, 長距離相互作用を持つ多体系における量子情報の力学, 構造に関する新たな知見を与える。
  論文  参考訳（メタデータ） (2021-05-13T15:02:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。