論文の概要: Generalization Bounds via Conditional $f$-Information

• arxiv url: http://arxiv.org/abs/2410.22887v1
• Date: Wed, 30 Oct 2024 10:33:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:24:09.346788
• Title: Generalization Bounds via Conditional $f$-Information
• Title（参考訳）: 条件付き$f$-情報による一般化境界
• Authors: Ziqiao Wang, Yongyi Mao,
• Abstract要約: 条件付き$f$-informationフレームワークを用いて,新しい情報理論の一般化バウンダリを導入する。 スーパーサンプル設定における$f$-informationを介して一般化境界を導出するための一般的なアプローチを提供する。
• 参考スコア（独自算出の注目度）: 34.92443710482514
• License:
• Abstract: In this work, we introduce novel information-theoretic generalization bounds using the conditional $f$-information framework, an extension of the traditional conditional mutual information (MI) framework. We provide a generic approach to derive generalization bounds via $f$-information in the supersample setting, applicable to both bounded and unbounded loss functions. Unlike previous MI-based bounds, our proof strategy does not rely on upper bounding the cumulant-generating function (CGF) in the variational formula of MI. Instead, we set the CGF or its upper bound to zero by carefully selecting the measurable function invoked in the variational formula. Although some of our techniques are partially inspired by recent advances in the coin-betting framework (e.g., Jang et al. (2023)), our results are independent of any previous findings from regret guarantees of online gambling algorithms. Additionally, our newly derived MI-based bound recovers many previous results and improves our understanding of their potential limitations. Finally, we empirically compare various $f$-information measures for generalization, demonstrating the improvement of our new bounds over the previous bounds.
• Abstract（参考訳）: 本研究では,従来の条件付き相互情報(MI)フレームワークの拡張である条件付き$f$-informationフレームワークを用いて,新しい情報理論の一般化バウンダリを導入する。 スーパーサンプル設定における$f$-informationを介して一般化境界を導出するための一般的なアプローチを提供し、有界と非有界の両方の損失関数に適用できる。 従来のMIベース境界とは異なり、我々の証明戦略はMIの変分式における累積生成関数(CGF)の上界に依存しない。 代わりに、変分式で呼び出される可測関数を慎重に選択することで、CGFまたはその上界を0に設定する。 我々の手法の一部は、コイン賭けフレームワーク(例えば、Jang et al (2023))の最近の進歩に部分的にインスピレーションを受けているが、オンラインギャンブルアルゴリズムの残念な保証から、これまでの結果とは無関係である。 さらに、新たに作成したMIベース境界は、多くの過去の結果を回復し、それらの潜在的な制限に対する理解を改善します。 最後に、一般化のための様々な$f$情報測度を実証的に比較し、以前の境界よりも新しい境界の改善を実証する。

関連論文リスト

• Tighter Generalisation Bounds via Interpolation [16.74864438507713]
  本稿では、$(f, Gamma)$-divergenceに基づいて、新しいPAC-Bayes一般化境界を導出するレシピを提案する。 また、PAC-Bayes一般化バウンダリでは、一連の確率発散を補間する。
  論文  参考訳（メタデータ） (2024-02-07T18:55:22Z)
• PAC-Bayes-Chernoff bounds for unbounded losses [9.987130158432755]
  PAC-Bayes Oracle bound for unbounded loss that extends Cram'er-Chernoff bounds to the PAC-Bayesian set。 我々のアプローチは、多くのPAC-Bayes境界における自由パラメータの正確な最適化など、Cram'er-Chernoff境界の性質を自然に活用する。
  論文  参考訳（メタデータ） (2024-01-02T10:58:54Z)
• Exactly Tight Information-Theoretic Generalization Error Bound for the Quadratic Gaussian Problem [16.04977600068383]
  我々は、厳密な情報理論の一般化誤差境界(すなわち、定数さえ一致する)を提供する。 既存の境界はこの設定で順序的に緩い。 その後、分解可能な損失関数に対して洗練された境界が提案され、ベクトル設定に対して厳密な境界が導かれる。
  論文  参考訳（メタデータ） (2023-05-01T15:22:58Z)
• A Primal-Dual Approach to Solving Variational Inequalities with General Constraints [54.62996442406718]
  Yang et al. (2023) は最近、一般的な変分不等式を解決するために一階勾配法を使う方法を示した。 この方法の収束性を証明し、演算子が$L$-Lipschitz と monotone である場合、この手法の最後の繰り返しのギャップ関数が$O(frac1sqrtK)$で減少することを示す。
  論文  参考訳（メタデータ） (2022-10-27T17:59:09Z)
• A New Family of Generalization Bounds Using Samplewise Evaluated CMI [14.147617330278662]
  本稿では,学習損失と人口損失を連接凸関数を用いて比較する情報理論の一般化境界系を提案する。 これまでに知られていた情報理論境界を拡張することで,この枠組みの汎用性を実証する。 いくつかのシナリオでは、この新しい境界は、以前の境界よりも深いニューラルネットワークの人口減少を厳しく評価する。
  論文  参考訳（メタデータ） (2022-10-12T17:15:44Z)
• On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
  残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。 他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。 ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
  論文  参考訳（メタデータ） (2022-07-01T17:58:29Z)
• A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
  政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。 PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
  論文  参考訳（メタデータ） (2021-07-23T19:38:17Z)
• Tighter expected generalization error bounds via Wasserstein distance [23.52237892358981]
  ワッサーシュタイン距離に基づくいくつかの予測一般化誤差境界を導入する。 標準設定とランダム化サブサンプル設定の両方に、フルデータセット、シングルレター、ランダムサブセット境界を示す。 異なる情報測度に基づく新しい境界が提示された境界からどのように導出されるかを示す。
  論文  参考訳（メタデータ） (2021-01-22T20:13:59Z)
• Relative Deviation Margin Bounds [55.22251993239944]
  我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。 有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
  論文  参考訳（メタデータ） (2020-06-26T12:37:17Z)
• Lower bounds in multiple testing: A framework based on derandomized proxies [107.69746750639584]
  本稿では, 各種コンクリートモデルへの適用例を示す, デランドマイズに基づく分析戦略を提案する。 これらの下界のいくつかを数値シミュレーションし、Benjamini-Hochberg (BH) アルゴリズムの実際の性能と密接な関係を示す。
  論文  参考訳（メタデータ） (2020-05-07T19:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。