論文の概要: Formal limitations of sample-wise information-theoretic generalization bounds

• arxiv url: http://arxiv.org/abs/2205.06915v1
• Date: Fri, 13 May 2022 22:24:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-17 14:25:13.776854
• Title: Formal limitations of sample-wise information-theoretic generalization bounds
• Title（参考訳）: サンプル情報理論一般化境界の形式的制限
• Authors: Hrayr Harutyunyan, Greg Ver Steeg, Aram Galstyan
• Abstract要約: 予想される二乗一般化ギャップに対しても、そのようなサンプル情報理論境界は存在しないことを示す。 注目すべきは、PAC-ベイズ(英語版)、単引き、期待される2乗一般化ギャップは、一対の例の情報に依存する。
• 参考スコア（独自算出の注目度）: 34.10258464066993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Some of the tightest information-theoretic generalization bounds depend on the average information between the learned hypothesis and a \emph{single} training example. However, these sample-wise bounds were derived only for \emph{expected} generalization gap. We show that even for expected \emph{squared} generalization gap no such sample-wise information-theoretic bounds exist. The same is true for PAC-Bayes and single-draw bounds. Remarkably, PAC-Bayes, single-draw and expected squared generalization gap bounds that depend on information in pairs of examples exist.
• Abstract（参考訳）: 最も厳密な情報理論の一般化境界は、学習された仮説と 'emph{single} トレーニングの例の間の平均情報に依存する。 しかし、これらのサンプルワイド境界は \emph{expected} 一般化ギャップのためにのみ導出される。 期待される 'emph{squared} 一般化ギャップでさえ、そのようなサンプル情報理論境界は存在しないことを示す。 PAC-Bayes とシングルドロー境界も同様である。 驚くべきことに、例のペアの情報に依存するpac-bayes、single-draw、および期待される2乗一般化ギャップ境界が存在する。

関連論文リスト

• Fast Rate Information-theoretic Bounds on Generalization Errors [8.102199960821165]
  学習アルゴリズムの一般化誤差は、学習アルゴリズムの学習データにおける損失と、目に見えないテストデータにおける損失との違いを指す。 一般化誤差に関する様々な情報理論境界が文献で導出されている。 本稿では,これらの境界の厳密性について,それらの収束速度の標本サイズ依存性の観点から検討する。
  論文  参考訳（メタデータ） (2023-03-26T08:59:05Z)
• A unified recipe for deriving (time-uniform) PAC-Bayes bounds [31.921092049934654]
  PAC-ベイジアン一般化境界を導出するための統一的枠組みを提案する。 私たちの境界は任意の時効値(すなわち、時間ユニフォーム)であり、すべての停止時間を保持することを意味する。
  論文  参考訳（メタデータ） (2023-02-07T12:11:59Z)
• Lower Bounds for Learning in Revealing POMDPs [88.23337313766355]
  本稿では, 難易度の高い環境下での強化学習(RL)の基本的限界について検討する。 Emphmulti-steping POMDPs に対して、潜伏状態空間依存はサンプル複雑性において少なくとも$Omega(S1.5)$であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T18:59:30Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
  対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。 我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
  論文  参考訳（メタデータ） (2022-10-12T12:49:20Z)
• Robust PAC$^m$: Training Ensemble Models Under Misspecification and Outliers [46.38465729190199]
  PAC-ベイズ理論は、ベイズ学習によって最小化された自由エネルギー基準が、ギブス予想器の一般化誤差に束縛されていることを証明している。 この研究は、一般化されたスコア関数とPAC$m$アンサンブル境界を組み合わせた、新しい堅牢な自由エネルギー基準を示す。
  論文  参考訳（メタデータ） (2022-03-03T17:11:07Z)
• Tighter Expected Generalization Error Bounds via Convexity of Information Measures [8.359770027722275]
  一般化エラー境界は機械学習アルゴリズムを理解するのに不可欠である。 本稿では,出力仮説と各入力トレーニングサンプル間の平均結合分布に基づいて,新たな一般化誤差上限を提案する。
  論文  参考訳（メタデータ） (2022-02-24T15:36:09Z)
• RATT: Leveraging Unlabeled Data to Guarantee Generalization [96.08979093738024]
  ラベルのないデータを利用して一般化境界を生成する手法を紹介します。 境界が0-1経験的リスク最小化に有効であることを証明します。 この作業は、見えないラベル付きデータが利用できない場合でも、ディープネットの一般化を証明するためのオプションを実践者に提供します。
  論文  参考訳（メタデータ） (2021-05-01T17:05:29Z)
• Failures of model-dependent generalization bounds for least-norm interpolation [39.97534972432276]
  最小ノルム線形回帰器の一般化性能に関するバウンダリを考察する。 訓練例における様々な自然な関節分布に対して、任意の有効な一般化境界は非常に緩くなければならない。
  論文  参考訳（メタデータ） (2020-10-16T16:30:05Z)
• PAC-Bayes Analysis Beyond the Usual Bounds [16.76187007910588]
  本研究では,学習者が学習例の有限セットを観察する学習モデルに焦点を当てる。 学習したデータ依存分布はランダム化予測に使用される。
  論文  参考訳（メタデータ） (2020-06-23T14:30:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。