論文の概要: Tighter expected generalization error bounds via Wasserstein distance

• arxiv url: http://arxiv.org/abs/2101.09315v1
• Date: Fri, 22 Jan 2021 20:13:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-20 19:58:23.861691
• Title: Tighter expected generalization error bounds via Wasserstein distance
• Title（参考訳）: ワッサーシュタイン距離によるタイター予測一般化誤差境界
• Authors: Borja Rodr\'iguez-G\'alvez, Germ\'an Bassi, Ragnar Thobaben, and Mikael Skoglund
• Abstract要約: ワッサーシュタイン距離に基づくいくつかの予測一般化誤差境界を導入する。 標準設定とランダム化サブサンプル設定の両方に、フルデータセット、シングルレター、ランダムサブセット境界を示す。 異なる情報測度に基づく新しい境界が提示された境界からどのように導出されるかを示す。
• 参考スコア（独自算出の注目度）: 23.52237892358981
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we introduce several expected generalization error bounds based on the Wasserstein distance. More precisely, we present full-dataset, single-letter, and random-subset bounds on both the standard setting and the randomized-subsample setting from Steinke and Zakynthinou [2020]. Moreover, we show that, when the loss function is bounded, these bounds recover from below (and thus are tighter than) current bounds based on the relative entropy and, for the standard setting, generate new, non-vacuous bounds also based on the relative entropy. Then, we show how similar bounds featuring the backward channel can be derived with the proposed proof techniques. Finally, we show how various new bounds based on different information measures (e.g., the lautum information or several $f$-divergences) can be derived from the presented bounds.
• Abstract（参考訳）: 本研究では,wasserstein距離に基づくいくつかの一般化誤差境界を導入する。 より正確には、steinke と zakynthinou [2020] の標準設定とランダム化サブサンプル設定の両方において、フルデータセット、シングルレター、ランダムサブセット境界を示す。 さらに、損失関数が有界であれば、相対エントロピーに基づいて下方(したがってより)の電流境界からこれらの境界が回復し、標準設定では、相対エントロピーにもとづいて、新しい空でない境界を生成することを示した。 そこで,提案手法を用いて,逆流路を特徴とする類似境界を導出できることを示す。 最後に、異なる情報測度(例えば、ラウタム情報またはいくつかの$f$-divergences)に基づく様々な新しい境界が、提示された境界から導出できることを示す。

関連論文リスト

• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• PAC-Bayes-Chernoff bounds for unbounded losses [9.987130158432755]
  PAC-Bayes Oracle bound for unbounded loss that extends Cram'er-Chernoff bounds to the PAC-Bayesian set。 我々のアプローチは、多くのPAC-Bayes境界における自由パラメータの正確な最適化など、Cram'er-Chernoff境界の性質を自然に活用する。
  論文  参考訳（メタデータ） (2024-01-02T10:58:54Z)
• More PAC-Bayes bounds: From bounded losses, to losses with general tail behaviors, to anytime validity [27.87324770020133]
  我々は、異なる種類の損失に対して、新しい高確率PAC-Bayes境界を提案する。 有界範囲の損失に対して、すべてのパラメータ値に対して一様に保持されるカトーニ境界の強化版を復元する。 より一般的な尾の挙動を持つ損失に対して、2つの新しいパラメータフリー境界を導入する。
  論文  参考訳（メタデータ） (2023-06-21T12:13:46Z)
• Exactly Tight Information-Theoretic Generalization Error Bound for the Quadratic Gaussian Problem [16.04977600068383]
  我々は、厳密な情報理論の一般化誤差境界(すなわち、定数さえ一致する)を提供する。 既存の境界はこの設定で順序的に緩い。 その後、分解可能な損失関数に対して洗練された境界が提案され、ベクトル設定に対して厳密な境界が導かれる。
  論文  参考訳（メタデータ） (2023-05-01T15:22:58Z)
• Tighter Information-Theoretic Generalization Bounds from Supersamples [27.14107452619853]
  本稿では,学習アルゴリズムのための情報理論の新たな一般化境界について述べる。 提示される境界は平方根境界、高速レート境界を含み、分散と鋭さに基づく境界を含む。 理論的あるいは経験的に、これらの境界は、同じスーパーサンプル設定で知られているすべての情報理論境界よりも厳密であることを示す。
  論文  参考訳（メタデータ） (2023-02-05T17:06:27Z)
• Limitations of Information-Theoretic Generalization Bounds for Gradient Descent Methods in Stochastic Convex Optimization [48.12845778927164]
  凸最適化の設定において,勾配勾配降下の最小値設定の見通しを考察する。 勾配法の研究においてよく用いられる手法として、最終回はガウス雑音によって劣化し、ノイズの多い「代理」アルゴリズムが生成される。 以上の結果から,情報理論を用いた勾配降下解析には新たな考え方が必要であることが示唆された。
  論文  参考訳（メタデータ） (2022-12-27T17:16:48Z)
• On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
  対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。 我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
  論文  参考訳（メタデータ） (2022-10-12T12:49:20Z)
• Chained Generalisation Bounds [26.043342234937747]
  連鎖手法を用いて教師付き学習アルゴリズムの予測一般化誤差の上限を導出する。 我々は、損失関数の正則性に基づく一般化境界と、それらの鎖付き関数との双対性を確立する。
  論文  参考訳（メタデータ） (2022-03-02T09:34:36Z)
• Tight Exponential Analysis for Smoothing the Max-Relative Entropy and for Quantum Privacy Amplification [56.61325554836984]
  最大相対エントロピーとその滑らかなバージョンは、量子情報理論の基本的な道具である。 我々は、精製された距離に基づいて最大相対エントロピーを滑らかにする量子状態の小さな変化の崩壊の正確な指数を導出する。
  論文  参考訳（メタデータ） (2021-11-01T16:35:41Z)
• R\'enyi divergence inequalities via interpolation, with applications to generalised entropic uncertainty relations [91.3755431537592]
  量子R'enyiエントロピー量、特に'サンドウィッチ'の発散量について検討する。 我々は、R'enyi相互情報分解規則、R'enyi条件エントロピー三部類連鎖規則に対する新しいアプローチ、より一般的な二部類比較を示す。
  論文  参考訳（メタデータ） (2021-06-19T04:06:23Z)
• On Lower Bounds for Standard and Robust Gaussian Process Bandit Optimization [55.937424268654645]
  有界ノルムを持つ関数のブラックボックス最適化問題に対するアルゴリズム非依存な下界を考える。 本稿では, 単純さ, 汎用性, エラー確率への依存性の向上など, 後悔の下位境界を導出するための新しい証明手法を提案する。
  論文  参考訳（メタデータ） (2020-08-20T03:48:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。