論文の概要: Generalization Error Bounds via $m$th Central Moments of the Information Density

• arxiv url: http://arxiv.org/abs/2004.09148v2
• Date: Wed, 9 Sep 2020 09:11:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-11 18:10:08.132265
• Title: Generalization Error Bounds via $m$th Central Moments of the Information Density
• Title（参考訳）: 情報密度の$m$th中心モーメントによる一般化誤差境界
• Authors: Fredrik Hellstr\"om, Giuseppe Durisi
• Abstract要約: 本稿では,ランダム化学習アルゴリズムの一般化誤差に対するバウンダリを導出する一般手法を提案する。 我々の手法は、平均一般化誤差の有界値と、その尾の確率の有界値を得るのに利用できる。
• 参考スコア（独自算出の注目度）: 14.147617330278662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a general approach to deriving bounds on the generalization error of randomized learning algorithms. Our approach can be used to obtain bounds on the average generalization error as well as bounds on its tail probabilities, both for the case in which a new hypothesis is randomly generated every time the algorithm is used - as often assumed in the probably approximately correct (PAC)-Bayesian literature - and in the single-draw case, where the hypothesis is extracted only once. For this last scenario, we present a novel bound that is explicit in the central moments of the information density. The bound reveals that the higher the order of the information density moment that can be controlled, the milder the dependence of the generalization bound on the desired confidence level. Furthermore, we use tools from binary hypothesis testing to derive a second bound, which is explicit in the tail of the information density. This bound confirms that a fast decay of the tail of the information density yields a more favorable dependence of the generalization bound on the confidence level.
• Abstract（参考訳）: 本稿では,ランダム化学習アルゴリズムの一般化誤差に対する境界を導出する一般手法を提案する。 我々のアプローチは、アルゴリズムが使われるたびに新しい仮説がランダムに生成される場合(おそらくほぼ正しい(PAC)-ベイジアン文献でしばしば仮定される)と、仮説が1回だけ抽出される単線の場合(英語版)の両方において、平均一般化誤差とその尾確率の境界を得るのに使うことができる。 この最後のシナリオでは、情報密度の中心モーメントにおいて明示的な新しい境界を示す。 境界は、制御可能な情報密度モーメントの順序が高ければ高いほど、所望の信頼レベルに束縛された一般化の依存性が穏やかになることを示す。 さらに,二項仮説テストのツールを用いて,情報密度の尾に明示的な2番目の境界を導出する。 このバウンドは、情報密度のテールの速い崩壊は、信頼度レベルに束縛された一般化のより好ましい依存性をもたらすことを確かめる。

関連論文リスト

• Sobolev Space Regularised Pre Density Models [51.558848491038916]
  本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。 この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
  論文  参考訳（メタデータ） (2023-07-25T18:47:53Z)
• Bayesian Renormalization [68.8204255655161]
  ベイズ統計的推論にインスパイアされた再正規化に対する完全情報理論的アプローチを提案する。 ベイズ再正規化の主な洞察は、フィッシャー計量が創発的RGスケールの役割を担う相関長を定義することである。 本研究では,ベイズ正規化方式が既存のデータ圧縮法やデータ生成法とどのように関係しているかを考察する。
  論文  参考訳（メタデータ） (2023-05-17T18:00:28Z)
• Understanding the Generalization Ability of Deep Learning Algorithms: A Kernelized Renyi's Entropy Perspective [11.255943520955764]
  本稿では,Renyiのエントロピーをカーネル化した新しい情報理論尺度を提案する。 我々は,Renyiエントロピーのカーネル化の下で,勾配/ランジュバン降下(SGD/SGLD)学習アルゴリズムの一般化誤差境界を確立する。 我々の情報理論的境界は勾配の統計に依存しており、現在のSOTA(State-of-the-art)結果よりも厳密であることを示す。
  論文  参考訳（メタデータ） (2023-05-02T01:17:15Z)
• Fast Rate Information-theoretic Bounds on Generalization Errors [8.102199960821165]
  学習アルゴリズムの一般化誤差は、学習アルゴリズムの学習データにおける損失と、目に見えないテストデータにおける損失との違いを指す。 一般化誤差に関する様々な情報理論境界が文献で導出されている。 本稿では,これらの境界の厳密性について,それらの収束速度の標本サイズ依存性の観点から検討する。
  論文  参考訳（メタデータ） (2023-03-26T08:59:05Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
  残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。 他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。 ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
  論文  参考訳（メタデータ） (2022-07-01T17:58:29Z)
• Fast Rate Generalization Error Bounds: Variations on a Theme [5.081241420920605]
  期待一般化誤差の収束速度は O(sqrtlambda/n) の形で表されることを示す。 我々は、(eta,c)-central 条件と呼ぶ高速な一般化誤差に必要な重要な条件を同定する。 この条件下では、特定の学習アルゴリズムに対するO(lambda/n)の収束率を用いて、一般化誤差と過剰リスクに関する情報理論境界を与える。
  論文  参考訳（メタデータ） (2022-05-06T10:39:48Z)
• Chained Generalisation Bounds [26.043342234937747]
  連鎖手法を用いて教師付き学習アルゴリズムの予測一般化誤差の上限を導出する。 我々は、損失関数の正則性に基づく一般化境界と、それらの鎖付き関数との双対性を確立する。
  論文  参考訳（メタデータ） (2022-03-02T09:34:36Z)
• RATT: Leveraging Unlabeled Data to Guarantee Generalization [96.08979093738024]
  ラベルのないデータを利用して一般化境界を生成する手法を紹介します。 境界が0-1経験的リスク最小化に有効であることを証明します。 この作業は、見えないラベル付きデータが利用できない場合でも、ディープネットの一般化を証明するためのオプションを実践者に提供します。
  論文  参考訳（メタデータ） (2021-05-01T17:05:29Z)
• Super fast rates in structured prediction [88.99819200562784]
  連続的な問題が連続的な値を予測しているときに、離散的な問題が本質的に離散的なアウトプットを予測しているという事実を活用する方法を示す。 まず、近接する隣人に基づく予測器について説明し、二項分類で知られている確率を、構造的予測の枠組み内の任意の離散問題に一般化する。 次に、カーネルリッジの回帰について検討し、問題の硬さを特徴付けるパラメータによって、n-1/4$の既知のレートを任意に高速化する。
  論文  参考訳（メタデータ） (2021-02-01T10:50:04Z)
• Generalization Bounds via Information Density and Conditional Information Density [14.147617330278662]
  本稿では,指数関数的不等式に基づいてランダム化学習アルゴリズムの一般化誤差を導出する一般手法を提案する。 PAC-Bayesian と Single-draw の両方のシナリオに対して、平均一般化誤差のバウンダリと、そのテール確率のバウンダリを提供する。
  論文  参考訳（メタデータ） (2020-05-16T17:04:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。