論文の概要: Fractal and Regular Geometry of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2504.06250v1
• Date: Tue, 08 Apr 2025 17:56:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:30:54.453487
• Title: Fractal and Regular Geometry of Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークのフラクタルおよび規則幾何学
• Authors: Simmaco Di Lillo, Domenico Marinucci, Michele Salvi, Stefano Vigogna,
• Abstract要約: 本研究では, 乱数ニューラルネットワークの幾何学的特性について, 深度が増大するにつれて, 探索集合の境界体積を調べることによって検討する。 あまり規則的でない活性化に対しては、境界体積はフラクタルな振る舞いを示し、そのハウスドルフ次元は深さとともに単調に増加する。 より規則的な活性化の場合、期待される境界体積はゼロに収束するか、定数のままか指数関数的に発散し、容易に計算できる単一のスペクトルパラメータに依存する。
• 参考スコア（独自算出の注目度）: 2.099922236065961
• License:
• Abstract: We study the geometric properties of random neural networks by investigating the boundary volumes of their excursion sets for different activation functions, as the depth increases. More specifically, we show that, for activations which are not very regular (e.g., the Heaviside step function), the boundary volumes exhibit fractal behavior, with their Hausdorff dimension monotonically increasing with the depth. On the other hand, for activations which are more regular (e.g., ReLU, logistic and $\tanh$), as the depth increases, the expected boundary volumes can either converge to zero, remain constant or diverge exponentially, depending on a single spectral parameter which can be easily computed. Our theoretical results are confirmed in some numerical experiments based on Monte Carlo simulations.
• Abstract（参考訳）: 本研究では, 深度が増大するにつれて, 異なる活性化関数に対して, 探索セットの境界体積を調査することにより, ランダムニューラルネットワークの幾何学的性質について検討する。 より具体的には、非常に正則でない活性化(例えば、ヘヴィサイドステップ関数)の場合、境界体積はフラクタルな挙動を示し、そのハウスドルフ次元は深さとともに単調に増大する。 一方、より正則な(例えば、ReLU、ロジスティック、および$\tanh$)アクティベーションの場合、期待される境界体積はゼロに収束するか、定数に留まるか、指数関数的に発散し、容易に計算できる単一のスペクトルパラメータに依存する。 我々の理論的結果はモンテカルロシミュレーションに基づく数値実験で確認される。

関連論文リスト

• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)
• Uniform Convergence of Deep Neural Networks with Lipschitz Continuous Activation Functions and Variable Widths [3.0069322256338906]
  リプシッツ連続活性化関数と可変幅の重み行列を持つディープニューラルネットワークを考える。 特に、畳み込みニューラルネットワークは、幅が増大する重み行列を持つ特殊なディープニューラルネットワークであるため、マスクシーケンスに条件を提示する。 活性化関数上のリプシッツ連続性仮定は、アプリケーションでよく使われる活性化関数のほとんどを我々の理論に含めることができる。
  論文  参考訳（メタデータ） (2023-06-02T17:07:12Z)
• Tangent Bundle Convolutional Learning: from Manifolds to Cellular Sheaves and Back [84.61160272624262]
  この畳み込み操作に基づいて,タンジェントバンドルフィルタとタンジェントバンドルニューラルネットワーク(TNN)を定義する。 タンジェントバンドルフィルタは、スカラー多様体フィルタ、グラフフィルタ、標準畳み込みフィルタを連続的に一般化するスペクトル表現を許容する。 提案したアーキテクチャが様々な学習課題に与える影響を数値的に評価する。
  論文  参考訳（メタデータ） (2023-03-20T17:57:15Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Depth Degeneracy in Neural Networks: Vanishing Angles in Fully Connected ReLU Networks on Initialization [5.678271181959529]
  層数の関数としてReLUニューラルネットワークへの2つの入力間の角度の進化について検討する。 モンテカルロ実験を用いて理論的結果を検証し, 有限ネットワークの挙動を正確に近似することを示した。 また,深度縮退現象が実際のネットワークのトレーニングに悪影響を及ぼすかを実証的に検討した。
  論文  参考訳（メタデータ） (2023-02-20T01:30:27Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• A Dynamical Central Limit Theorem for Shallow Neural Networks [48.66103132697071]
  平均極限の周りのゆらぎは、トレーニングを通して平均正方形に有界であることを証明する。 平均場ダイナミクスがトレーニングデータを補間する尺度に収束すると、最終的にCLTスケーリングにおいて偏差が消えることを示す。
  論文  参考訳（メタデータ） (2020-08-21T18:00:50Z)
• Theory of Deep Convolutional Neural Networks II: Spherical Analysis [9.099589602551573]
  単位球面$mathbbSd-1$ of $mathbbRd$ 上の近似関数に適用された深部畳み込みニューラルネットワークの族を考える。 我々の解析は、近似関数がソボレフ空間 $Wr_infty (mathbbSd-1)$ に$r>0$ あるいは加法リッジ形式を取るとき、一様近似の速度を示す。
  論文  参考訳（メタデータ） (2020-07-28T14:54:30Z)
• Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
  我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。 そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。 我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
  論文  参考訳（メタデータ） (2020-07-11T22:10:52Z)
• The Spectrum of Fisher Information of Deep Networks Achieving Dynamical Isometry [9.289846887298852]
  Fisher InformationMatrix (FIM) はディープニューラルネット(DNN)のトレーニング可能性を理解するための基礎となる。 完全接続ネットワークに着目し, 単一サンプルのFIMである条件付きFIMのスペクトル分布について検討した。 パラメータ空間の局所距離は、動的等距離の下でも線形に深さに依存する。
  論文  参考訳（メタデータ） (2020-06-14T06:32:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。