論文の概要: Exactly Tight Information-Theoretic Generalization Error Bound for the
Quadratic Gaussian Problem
- arxiv url: http://arxiv.org/abs/2305.00876v2
- Date: Mon, 13 Nov 2023 04:40:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 22:05:34.381820
- Title: Exactly Tight Information-Theoretic Generalization Error Bound for the
Quadratic Gaussian Problem
- Title（参考訳）: 二次ガウス問題に対する厳密な情報理論一般化誤差
- Authors: Ruida Zhou, Chao Tian, Tie Liu
- Abstract要約: 我々は、厳密な情報理論の一般化誤差境界(すなわち、定数さえ一致する)を提供する。
既存の境界はこの設定で順序的に緩い。
その後、分解可能な損失関数に対して洗練された境界が提案され、ベクトル設定に対して厳密な境界が導かれる。
- 参考スコア（独自算出の注目度）: 16.04977600068383
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We provide a new information-theoretic generalization error bound that is
exactly tight (i.e., matching even the constant) for the canonical quadratic
Gaussian (location) problem. Most existing bounds are order-wise loose in this
setting, which has raised concerns about the fundamental capability of
information-theoretic bounds in reasoning the generalization behavior for
machine learning. The proposed new bound adopts the individual-sample-based
approach proposed by Bu et al., but also has several key new ingredients.
Firstly, instead of applying the change of measure inequality on the loss
function, we apply it to the generalization error function itself; secondly,
the bound is derived in a conditional manner; lastly, a reference distribution
is introduced. The combination of these components produces a
KL-divergence-based generalization error bound. We show that although the
latter two new ingredients can help make the bound exactly tight, removing them
does not significantly degrade the bound, leading to an asymptotically tight
mutual-information-based bound. We further consider the vector Gaussian
setting, where a direct application of the proposed bound again does not lead
to tight bounds except in special cases. A refined bound is then proposed for
decomposable loss functions, leading to a tight bound for the vector setting.
- Abstract（参考訳）: 我々は、正準二次ガウス問題に対して、厳密な(すなわち定数さえ一致する)新しい情報理論の一般化誤差を与える。
この設定では、既存の境界は順序的に緩く、機械学習の一般化動作を推論する情報理論境界の基本的な能力を懸念している。
提案する新しいバウンドは、buらによって提案された個別のサンプルベースアプローチを採用するが、いくつかの重要な新しい材料も備えている。
第一に、損失関数に測度の不等式の変化を適用するのではなく、一般化誤差関数自体に適用し、第二に境界を条件付きで導出し、最後に基準分布を導入する。
これらの成分の組み合わせは kl-divergence-based generalization error bound を生成する。
後者の2つの新しい成分は、境界を厳密に密接化させるのに役立つが、それらを取り除くことは境界を著しく低下させるものではなく、漸近的に密接な相互情報に基づく境界をもたらす。
さらにベクトルガウスの設定を考えると、提案された有界の直接適用が特別な場合を除いて厳密な有界に繋がらない。
その後、分解可能な損失関数に対して洗練された境界が提案され、ベクトル設定のタイトバウンドに繋がる。
関連論文リスト
- Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。
提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
論文 参考訳（メタデータ） (2024-10-22T10:19:27Z) - On Regularization and Inference with Label Constraints [62.60903248392479]
機械学習パイプラインにおけるラベル制約を符号化するための2つの戦略、制約付き正規化、制約付き推論を比較した。
正規化については、制約に不整合なモデルを前置することで一般化ギャップを狭めることを示す。
制約付き推論では、モデルの違反を訂正することで人口リスクを低減し、それによってその違反を有利にすることを示す。
論文 参考訳（メタデータ） (2023-07-08T03:39:22Z) - A unified framework for information-theoretic generalization bounds [8.04975023021212]
本稿では,学習アルゴリズムにおける情報理論の一般化境界を導出するための一般的な手法を提案する。
主な技術的ツールは、測度の変化と、$L_psi_p$ Orlicz空間におけるヤングの不等式の緩和に基づく確率的デコリレーション補題である。
論文 参考訳（メタデータ） (2023-05-18T15:36:20Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳（メタデータ） (2022-11-02T16:39:42Z) - A Non-Asymptotic Moreau Envelope Theory for High-Dimensional Generalized
Linear Models [33.36787620121057]
ガウス空間の任意のクラスの線型予測器を示す新しい一般化境界を証明した。
私たちは、Zhou et al. (2021) の「最適化率」を直接回復するために、有限サンプルバウンドを使用します。
ローカライズされたガウス幅を用いた有界一般化の適用は、一般に経験的リスク最小化に対してシャープであることを示す。
論文 参考訳（メタデータ） (2022-10-21T16:16:55Z) - On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。
我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
論文 参考訳（メタデータ） (2022-10-12T12:49:20Z) - Chained Generalisation Bounds [26.043342234937747]
連鎖手法を用いて教師付き学習アルゴリズムの予測一般化誤差の上限を導出する。
我々は、損失関数の正則性に基づく一般化境界と、それらの鎖付き関数との双対性を確立する。
論文 参考訳（メタデータ） (2022-03-02T09:34:36Z) - Uniform Convergence of Interpolators: Gaussian Width, Norm Bounds, and
Benign Overfitting [35.78863301525758]
任意の仮説クラスにおける補間子の一般化誤差に対して一様収束を保証する。
ユークリッド標準球への一般境界の適用は、最小ノルム補間器に対するBartlett et al. (2020) の一貫性を回復する。
我々は、少なくともいくつかの設定において、ノルムベースの一般化境界がどのように説明され、良性過剰適合の分析に使用されるかを示す。
論文 参考訳（メタデータ） (2021-06-17T06:58:10Z) - Dimension Free Generalization Bounds for Non Linear Metric Learning [61.193693608166114]
我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。
解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
論文 参考訳（メタデータ） (2021-02-07T14:47:00Z) - Tighter expected generalization error bounds via Wasserstein distance [23.52237892358981]
ワッサーシュタイン距離に基づくいくつかの予測一般化誤差境界を導入する。
標準設定とランダム化サブサンプル設定の両方に、フルデータセット、シングルレター、ランダムサブセット境界を示す。
異なる情報測度に基づく新しい境界が提示された境界からどのように導出されるかを示す。
論文 参考訳（メタデータ） (2021-01-22T20:13:59Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳（メタデータ） (2020-12-19T15:24:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。