論文の概要: On the Limitations of Fractal Dimension as a Measure of Generalization

• arxiv url: http://arxiv.org/abs/2406.02234v1
• Date: Tue, 4 Jun 2024 11:56:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 16:32:17.875111
• Title: On the Limitations of Fractal Dimension as a Measure of Generalization
• Title（参考訳）: 一般化の尺度としてのフラクタル次元の限界について
• Authors: Charlie Tan, Inés García-Redondo, Qiquan Wang, Michael M. Bronstein, Anthea Monod,
• Abstract要約: フラクタル次元は、低初期化から訓練されたモデルの一般化を予測できないことを示す。 また、学習理論における最も単純な複雑性測度の一つである最終パラメータのell2$ノルムが、これらのフラクタル次元の概念よりも一般化ギャップと強く相関していることも示している。 この研究は、フラクタル幾何学、トポロジカルデータ分析、ニューラルネットワーク最適化の間の因果関係のより深い研究の基盤となる。
• 参考スコア（独自算出の注目度）: 18.257634786946397
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bounding and predicting the generalization gap of overparameterized neural networks remains a central open problem in theoretical machine learning. Neural network optimization trajectories have been proposed to possess fractal structure, leading to bounds and generalization measures based on notions of fractal dimension on these trajectories. Prominently, both the Hausdorff dimension and the persistent homology dimension have been proposed to correlate with generalization gap, thus serving as a measure of generalization. This work performs an extended evaluation of these topological generalization measures. We demonstrate that fractal dimension fails to predict generalization of models trained from poor initializations. We further identify that the $\ell^2$ norm of the final parameter iterate, one of the simplest complexity measures in learning theory, correlates more strongly with the generalization gap than these notions of fractal dimension. Finally, our study reveals the intriguing manifestation of model-wise double descent in persistent homology-based generalization measures. This work lays the ground for a deeper investigation of the causal relationships between fractal geometry, topological data analysis, and neural network optimization.
• Abstract（参考訳）: 過パラメータ化されたニューラルネットワークの一般化ギャップの境界と予測は、理論的機械学習において依然として中心的な問題である。 ニューラルネットワーク最適化トラジェクトリはフラクタル構造を持つことが提案されており、これらのトラジェクトリ上のフラクタル次元の概念に基づく境界と一般化の手段が導かれる。 顕著なことに、ハウスドルフ次元と永続ホモロジー次元の両方が一般化ギャップと相関し、一般化の尺度として機能するように提案されている。 この研究は、これらのトポロジカル一般化尺度のさらなる評価を行う。 フラクタル次元は、未熟な初期化から訓練されたモデルの一般化を予測できないことを示す。 さらに、最終パラメータの$\ell^2$ノルムは、学習理論における最も単純な複雑性尺度の1つであり、これらのフラクタル次元の概念よりも一般化ギャップと強く相関している。 最後に, 恒常的ホモロジーに基づく一般化尺度において, モデルワイド二重降下の興味深い現象が明らかとなった。 この研究は、フラクタル幾何学、トポロジカルデータ分析、ニューラルネットワーク最適化の間の因果関係のより深い研究の基盤となる。

関連論文リスト

• Topological Generalization Bounds for Discrete-Time Stochastic Optimization Algorithms [15.473123662393169]
  ディープニューラルネットワーク(DNN)は、顕著な一般化特性を示す。 これらの能力の源泉は依然として解明され、確立された統計的学習理論を否定している。 近年の研究では、訓練軌跡の性質が一般化の指標であることが示されている。
  論文  参考訳（メタデータ） (2024-07-11T17:56:03Z)
• Normalizing flows for lattice gauge theory in arbitrary space-time dimension [135.04925500053622]
  格子ゲージ理論における場配置のサンプリングへの正規化フローの応用は、これまで2つの時空次元においてほぼ独占的に検討されてきた。 我々は、スケーラブルで正確なフローベースサンプリングアルゴリズムの鍵となる、トラクタブルで偏りのないジャコビアン行列式によるマスク付き自己回帰について論じる。 具体的には、4つの時空次元におけるSU(3)ゲージ理論への原理的応用の結果が報告される。
  論文  参考訳（メタデータ） (2023-05-03T19:54:04Z)
• Generalization Bounds with Data-dependent Fractal Dimensions [5.833272638548154]
  フラクタル幾何学に基づく一般化境界をリプシッツの仮定を必要とせずに証明する。 技術的な複雑さは相当に多いが、この新しい概念は一般化誤差を制御できる。
  論文  参考訳（メタデータ） (2023-02-06T13:24:48Z)
• Rate-Distortion Theoretic Generalization Bounds for Stochastic Learning Algorithms [12.020634332110147]
  我々は、レート歪曲理論のレンズを通して、新しい一般化が有界であることを証明している。 我々の結果は、一般化に関するより統一された視点をもたらし、将来の研究方向性を開拓する。
  論文  参考訳（メタデータ） (2022-03-04T18:12:31Z)
• A singular Riemannian geometry approach to Deep Neural Networks I. Theoretical foundations [77.86290991564829]
  ディープニューラルネットワークは、音声認識、機械翻訳、画像解析など、いくつかの科学領域で複雑な問題を解決するために広く使われている。 我々は、リーマン計量を備えた列の最後の多様体で、多様体間の写像の特定の列を研究する。 このようなシーケンスのマップの理論的性質について検討し、最終的に実践的な関心を持つニューラルネットワークの実装間のマップのケースに焦点を当てる。
  論文  参考訳（メタデータ） (2021-12-17T11:43:30Z)
• Intrinsic Dimension, Persistent Homology and Generalization in Neural Networks [19.99615698375829]
  一般化誤差は 'peristent homology dimension' (PHD) という概念で等価に有界であることを示す。 我々は,現代のディープニューラルネットワークの規模でPHDを推定する効率的なアルゴリズムを開発した。 実験の結果,提案手法はネットワークの固有次元を様々な設定で効率的に計算できることがわかった。
  論文  参考訳（メタデータ） (2021-11-25T17:06:15Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Fractal Dimension Generalization Measure [0.2635832975589208]
  本論文は"Predicting Generalization in Deep Learning"コンペティションの一部である。 フラクタル次元の概念を用いて決定境界の複雑さを分析し,その手法に基づく一般化尺度を開発する。
  論文  参考訳（メタデータ） (2020-12-22T22:04:32Z)
• In Search of Robust Measures of Generalization [79.75709926309703]
  我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。 経験的に評価すると、これらの境界の大部分は数値的に空白である。 我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
  論文  参考訳（メタデータ） (2020-10-22T17:54:25Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。