論文の概要: Generalization Bounds with Data-dependent Fractal Dimensions

• arxiv url: http://arxiv.org/abs/2302.02766v2
• Date: Mon, 10 Jul 2023 14:08:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 18:56:41.606069
• Title: Generalization Bounds with Data-dependent Fractal Dimensions
• Title（参考訳）: データ依存フラクタル次元による一般化境界
• Authors: Benjamin Dupuis, George Deligiannidis, Umut \c{S}im\c{s}ekli
• Abstract要約: フラクタル幾何学に基づく一般化境界をリプシッツの仮定を必要とせずに証明する。 技術的な複雑さは相当に多いが、この新しい概念は一般化誤差を制御できる。
• 参考スコア（独自算出の注目度）: 5.833272638548154
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Providing generalization guarantees for modern neural networks has been a crucial task in statistical learning. Recently, several studies have attempted to analyze the generalization error in such settings by using tools from fractal geometry. While these works have successfully introduced new mathematical tools to apprehend generalization, they heavily rely on a Lipschitz continuity assumption, which in general does not hold for neural networks and might make the bounds vacuous. In this work, we address this issue and prove fractal geometry-based generalization bounds without requiring any Lipschitz assumption. To achieve this goal, we build up on a classical covering argument in learning theory and introduce a data-dependent fractal dimension. Despite introducing a significant amount of technical complications, this new notion lets us control the generalization error (over either fixed or random hypothesis spaces) along with certain mutual information (MI) terms. To provide a clearer interpretation to the newly introduced MI terms, as a next step, we introduce a notion of "geometric stability" and link our bounds to the prior art. Finally, we make a rigorous connection between the proposed data-dependent dimension and topological data analysis tools, which then enables us to compute the dimension in a numerically efficient way. We support our theory with experiments conducted on various settings.
• Abstract（参考訳）: 現代のニューラルネットワークの一般化を保証することは、統計学習において重要な課題である。 近年,フラクタル幾何学のツールを用いて一般化誤差を分析する研究がいくつか行われている。 これらの研究は、一般化を理解するための新しい数学的ツールの導入に成功しているが、リプシッツ連続性仮定に大きく依存しており、一般にはニューラルネットワークを保たず、境界を空にする可能性がある。 本稿では,この問題に対処し,リプシッツ仮定を必要とせずにフラクタル幾何学に基づく一般化境界を証明する。 この目的を達成するために,学習理論における古典的な被覆論を基礎として,データ依存フラクタル次元を導入する。 この新しい概念は、膨大な技術的な複雑さを伴っても、ある相互情報(MI)用語とともに一般化誤差(固定あるいはランダムな仮説空間)を制御できる。 新たに導入されたmi用語をより明確に解釈するために、次のステップとして「幾何学的安定性」の概念を導入し、我々の境界を先行技術に結びつける。 最後に,提案したデータ依存次元とトポロジカルデータ解析ツールとの間の厳密な接続を行い,数値的に効率的に次元を計算できるようにする。 我々は様々な環境で実験を行うことで理論を支持する。

関連論文リスト

• Slicing Mutual Information Generalization Bounds for Neural Networks [14.48773730230054]
  我々は、ディープラーニングアルゴリズムに適した、より厳密な情報理論の一般化バウンダリを導入する。 我々の境界は、標準MI境界よりも有意な計算的および統計的優位性を提供する。 パラメータがランダムな部分空間に正確に横たわる必要がないアルゴリズムに解析を拡張します。
  論文  参考訳（メタデータ） (2024-06-06T13:15:37Z)
• On the Limitations of Fractal Dimension as a Measure of Generalization [18.257634786946397]
  フラクタル次元は、低初期化から訓練されたモデルの一般化を予測できないことを示す。 また、学習理論における最も単純な複雑性測度の一つである最終パラメータのell2$ノルムが、これらのフラクタル次元の概念よりも一般化ギャップと強く相関していることも示している。 この研究は、フラクタル幾何学、トポロジカルデータ分析、ニューラルネットワーク最適化の間の因果関係のより深い研究の基盤となる。
  論文  参考訳（メタデータ） (2024-06-04T11:56:19Z)
• Conformal inference for regression on Riemannian Manifolds [49.7719149179179]
  回帰シナリオの予測セットは、応答変数が$Y$で、多様体に存在し、Xで表される共変数がユークリッド空間にあるときに検討する。 我々は、多様体上のこれらの領域の経験的バージョンが、その集団に対するほぼ確実に収束していることを証明する。
  論文  参考訳（メタデータ） (2023-10-12T10:56:25Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Rate-Distortion Theoretic Generalization Bounds for Stochastic Learning Algorithms [12.020634332110147]
  我々は、レート歪曲理論のレンズを通して、新しい一般化が有界であることを証明している。 我々の結果は、一般化に関するより統一された視点をもたらし、将来の研究方向性を開拓する。
  論文  参考訳（メタデータ） (2022-03-04T18:12:31Z)
• Intrinsic Dimension, Persistent Homology and Generalization in Neural Networks [19.99615698375829]
  一般化誤差は 'peristent homology dimension' (PHD) という概念で等価に有界であることを示す。 我々は,現代のディープニューラルネットワークの規模でPHDを推定する効率的なアルゴリズムを開発した。 実験の結果,提案手法はネットワークの固有次元を様々な設定で効率的に計算できることがわかった。
  論文  参考訳（メタデータ） (2021-11-25T17:06:15Z)
• Explaining generalization in deep learning: progress and fundamental limits [8.299945169799795]
  論文の前半では、勾配勾配による深層ネットワークのトレーニングがネットワークの容量を暗黙的に制御する方法を実証的に研究する。 次に、パラメータ数に対する依存性を改善した一様収束に基づく一般化境界を、データ依存の em から導出する。 論文の最後の部分では、未ラベルデータを用いて一般化を推定する経験的手法を導入する。
  論文  参考訳（メタデータ） (2021-10-17T21:17:30Z)
• Intrinsic Dimension Estimation [92.87600241234344]
  内在次元の新しい推定器を導入し, 有限標本, 非漸近保証を提供する。 次に、本手法を適用して、データ固有の次元に依存するGAN(Generative Adversarial Networks)に対する新しいサンプル複雑性境界を求める。
  論文  参考訳（メタデータ） (2021-06-08T00:05:39Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Bayesian Quadrature on Riemannian Data Manifolds [79.71142807798284]
  データに固有の非線形幾何学構造をモデル化する原則的な方法が提供される。 しかし、これらの演算は通常計算的に要求される。 特に、正規法則上の積分を数値計算するためにベイズ二次(bq)に焦点を当てる。 先行知識と活発な探索手法を両立させることで,BQは必要な評価回数を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2021-02-12T17:38:04Z)
• Dimension Free Generalization Bounds for Non Linear Metric Learning [61.193693608166114]
  我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。 解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
  論文  参考訳（メタデータ） (2021-02-07T14:47:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。