論文の概要: On the Limitations of Fractal Dimension as a Measure of Generalization

• arxiv url: http://arxiv.org/abs/2406.02234v2
• Date: Fri, 01 Nov 2024 16:22:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-04 14:33:45.956175
• Title: On the Limitations of Fractal Dimension as a Measure of Generalization
• Title（参考訳）: 一般化の尺度としてのフラクタル次元の限界について
• Authors: Charlie B. Tan, Inés García-Redondo, Qiquan Wang, Michael M. Bronstein, Anthea Monod,
• Abstract要約: ニューラルネットワークの一般化ギャップの境界と予測は、理論的機械学習における中心的なオープンな問題である。 ニューラルネットワークの最適化トラジェクトリをモデル化するためのフラクタルの枠組みを提案し、一般化境界を動機付け、軌道のフラクタル次元に基づいて測度を測る。 本稿では、これらの持続的ホモロジーに基づく一般化尺度の実験的評価を行い、詳細な統計分析を行う。
• 参考スコア（独自算出の注目度）: 17.38382314570976
• License:
• Abstract: Bounding and predicting the generalization gap of overparameterized neural networks remains a central open problem in theoretical machine learning. There is a recent and growing body of literature that proposes the framework of fractals to model optimization trajectories of neural networks, motivating generalization bounds and measures based on the fractal dimension of the trajectory. Notably, the persistent homology dimension has been proposed to correlate with the generalization gap. This paper performs an empirical evaluation of these persistent homology-based generalization measures, with an in-depth statistical analysis. Our study reveals confounding effects in the observed correlation between generalization and topological measures due to the variation of hyperparameters. We also observe that fractal dimension fails to predict generalization of models trained from poor initializations. We lastly reveal the intriguing manifestation of model-wise double descent in these topological generalization measures. Our work forms a basis for a deeper investigation of the causal relationships between fractal geometry, topological data analysis, and neural network optimization.
• Abstract（参考訳）: 過パラメータ化されたニューラルネットワークの一般化ギャップの境界と予測は、理論的機械学習において依然として中心的な問題である。 ニューラルネットワークの最適化トラジェクトリをモデル化するためのフラクタルの枠組みを提案し、一般化境界を動機付け、軌道のフラクタル次元に基づいて測度を測る。 特に、永続ホモロジー次元は一般化ギャップと相関するものとして提案されている。 本稿では、これらの持続的ホモロジーに基づく一般化尺度の実験的評価を行い、詳細な統計分析を行う。 本研究は,過度パラメータの変動による一般化とトポロジカル測度との相関関係について考察した。 また, フラクタル次元は, 未熟な初期化から学習したモデルの一般化を予測できないことも観察した。 最後に、これらのトポロジ的一般化尺度におけるモデルワイドな二重降下の興味深い顕在化を明らかにした。 我々の研究はフラクタル幾何、トポロジカルデータ分析、ニューラルネットワーク最適化の因果関係を深く研究する基盤となる。

関連論文リスト

• Relative Representations: Topological and Geometric Perspectives [53.88896255693922]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Generalization Bounds with Data-dependent Fractal Dimensions [5.833272638548154]
  フラクタル幾何学に基づく一般化境界をリプシッツの仮定を必要とせずに証明する。 技術的な複雑さは相当に多いが、この新しい概念は一般化誤差を制御できる。
  論文  参考訳（メタデータ） (2023-02-06T13:24:48Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Predicting the generalization gap in neural networks using topological data analysis [33.511371257571504]
  トポロジカルデータ解析の手法を用いて,ニューラルネットワークの一般化ギャップについて検討する。 トレーニング後のニューロン活性化相関から構築した重み付きグラフのホモロジー永続図を計算する。 持続性図から異なる数値要約の有用性を比較し、それらの組み合わせによって、テストセットを必要とせずに、その一般化ギャップを正確に予測し、部分的に説明できることを示す。
  論文  参考訳（メタデータ） (2022-03-23T11:15:36Z)
• Intrinsic Dimension, Persistent Homology and Generalization in Neural Networks [19.99615698375829]
  一般化誤差は 'peristent homology dimension' (PHD) という概念で等価に有界であることを示す。 我々は,現代のディープニューラルネットワークの規模でPHDを推定する効率的なアルゴリズムを開発した。 実験の結果,提案手法はネットワークの固有次元を様々な設定で効率的に計算できることがわかった。
  論文  参考訳（メタデータ） (2021-11-25T17:06:15Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Generalisation error in learning with random features and the hidden manifold model [23.71637173968353]
  合成データセットの一般線形回帰と分類について検討した。 我々は,高次元構造を考察し,統計物理学からのレプリカ法を用いる。 閾値をピークとしたロジスティック回帰のためのいわゆる二重降下挙動を得る方法を示す。 隠れ多様体モデルにより生成されたデータにおいて相関関係が果たす役割について論じる。
  論文  参考訳（メタデータ） (2020-02-21T14:49:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。