論文の概要: Exactly Tight Information-Theoretic Generalization Error Bound for the
Quadratic Gaussian Problem
- arxiv url: http://arxiv.org/abs/2305.00876v1
- Date: Mon, 1 May 2023 15:22:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-02 12:53:44.100539
- Title: Exactly Tight Information-Theoretic Generalization Error Bound for the
Quadratic Gaussian Problem
- Title（参考訳）: 二次ガウス問題に対する厳密な情報理論一般化誤差
- Authors: Ruida Zhou, Chao Tian, Tie Liu
- Abstract要約: 我々は、正準二次ガウス平均推定問題に対して、厳密な(すなわち定数さえ一致する)新しい情報理論の一般化誤差を与える。
条件付きバウンディングと基準分布は、バウンダリを正確に密にすることができるが、それらを取り除くことはバウンダリを著しく劣化させるものではないことを示す。
- 参考スコア（独自算出の注目度）: 13.824697571010798
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We provide a new information-theoretic generalization error bound that is
exactly tight (i.e., matching even the constant) for the canonical quadratic
Gaussian mean estimation problem. Despite considerable existing efforts in
deriving information-theoretic generalization error bounds, applying them to
this simple setting where sample average is used as the estimate of the mean
value of Gaussian data has not yielded satisfying results. In fact, most
existing bounds are order-wise loose in this setting, which has raised concerns
about the fundamental capability of information-theoretic bounds in reasoning
the generalization behavior for machine learning. The proposed new bound adopts
the individual-sample-based approach proposed by Bu et al., but also has
several key new ingredients. Firstly, instead of applying the change of measure
inequality on the loss function, we apply it to the generalization error
function itself; secondly, the bound is derived in a conditional manner;
lastly, a reference distribution, which bears a certain similarity to the prior
distribution in the Bayesian setting, is introduced. The combination of these
components produces a general KL-divergence-based generalization error bound.
We further show that although the conditional bounding and the reference
distribution can make the bound exactly tight, removing them does not
significantly degrade the bound, which leads to a mutual-information-based
bound that is also asymptotically tight in this setting.
- Abstract（参考訳）: 我々は、正準二次ガウス平均推定問題に対して、厳密な(すなわち定数さえ一致する)新しい情報理論の一般化誤差を与える。
情報理論的な一般化誤り境界の導出に相当な努力をしてきたにもかかわらず、ガウスデータの平均値の推定にサンプル平均が使用されるこの単純な設定に適用しても満足のいく結果が得られない。
実際、既存の境界はこの設定において順序的に緩く、機械学習の一般化動作を推論する情報理論境界の基本的な能力に懸念を抱いている。
提案する新しいバウンドは、buらによって提案された個別のサンプルベースアプローチを採用するが、いくつかの重要な新しい材料も備えている。
まず、損失関数に測度の不等式の変化を適用する代わりに、一般化誤差関数自身に適用し、第二に境界は条件付きで導出され、最後にベイズ設定の事前分布とある種の類似性を持つ参照分布を導入する。
これらの成分の組み合わせは一般的な kl-divergence-based generalization error bound を生成する。
さらに、条件境界と基準分布は境界を正確にきつくすることができるが、それらを取り除くことは境界を著しく劣化させるものではなく、この設定では漸近的にタイトな相互情報ベース境界につながることを示す。
関連論文リスト
- Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。
提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
論文 参考訳（メタデータ） (2024-10-22T10:19:27Z) - On Regularization and Inference with Label Constraints [62.60903248392479]
機械学習パイプラインにおけるラベル制約を符号化するための2つの戦略、制約付き正規化、制約付き推論を比較した。
正規化については、制約に不整合なモデルを前置することで一般化ギャップを狭めることを示す。
制約付き推論では、モデルの違反を訂正することで人口リスクを低減し、それによってその違反を有利にすることを示す。
論文 参考訳（メタデータ） (2023-07-08T03:39:22Z) - A unified framework for information-theoretic generalization bounds [8.04975023021212]
本稿では,学習アルゴリズムにおける情報理論の一般化境界を導出するための一般的な手法を提案する。
主な技術的ツールは、測度の変化と、$L_psi_p$ Orlicz空間におけるヤングの不等式の緩和に基づく確率的デコリレーション補題である。
論文 参考訳（メタデータ） (2023-05-18T15:36:20Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳（メタデータ） (2022-11-02T16:39:42Z) - A Non-Asymptotic Moreau Envelope Theory for High-Dimensional Generalized
Linear Models [33.36787620121057]
ガウス空間の任意のクラスの線型予測器を示す新しい一般化境界を証明した。
私たちは、Zhou et al. (2021) の「最適化率」を直接回復するために、有限サンプルバウンドを使用します。
ローカライズされたガウス幅を用いた有界一般化の適用は、一般に経験的リスク最小化に対してシャープであることを示す。
論文 参考訳（メタデータ） (2022-10-21T16:16:55Z) - On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。
我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
論文 参考訳（メタデータ） (2022-10-12T12:49:20Z) - Chained Generalisation Bounds [26.043342234937747]
連鎖手法を用いて教師付き学習アルゴリズムの予測一般化誤差の上限を導出する。
我々は、損失関数の正則性に基づく一般化境界と、それらの鎖付き関数との双対性を確立する。
論文 参考訳（メタデータ） (2022-03-02T09:34:36Z) - Uniform Convergence of Interpolators: Gaussian Width, Norm Bounds, and
Benign Overfitting [35.78863301525758]
任意の仮説クラスにおける補間子の一般化誤差に対して一様収束を保証する。
ユークリッド標準球への一般境界の適用は、最小ノルム補間器に対するBartlett et al. (2020) の一貫性を回復する。
我々は、少なくともいくつかの設定において、ノルムベースの一般化境界がどのように説明され、良性過剰適合の分析に使用されるかを示す。
論文 参考訳（メタデータ） (2021-06-17T06:58:10Z) - Dimension Free Generalization Bounds for Non Linear Metric Learning [61.193693608166114]
我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。
解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
論文 参考訳（メタデータ） (2021-02-07T14:47:00Z) - Tighter expected generalization error bounds via Wasserstein distance [23.52237892358981]
ワッサーシュタイン距離に基づくいくつかの予測一般化誤差境界を導入する。
標準設定とランダム化サブサンプル設定の両方に、フルデータセット、シングルレター、ランダムサブセット境界を示す。
異なる情報測度に基づく新しい境界が提示された境界からどのように導出されるかを示す。
論文 参考訳（メタデータ） (2021-01-22T20:13:59Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳（メタデータ） (2020-12-19T15:24:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。