論文の概要: Revisiting Deep Information Propagation: Fractal Frontier and Finite-size Effects
- arxiv url: http://arxiv.org/abs/2508.03222v1
- Date: Tue, 05 Aug 2025 08:49:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-06 18:18:55.87418
- Title: Revisiting Deep Information Propagation: Fractal Frontier and Finite-size Effects
- Title（参考訳）: 深部情報伝達の再考:フラクタルフロンティアと有限サイズ効果
- Authors: Giuseppe Alessio D'Inverno, Zhiyuan Hu, Leo Davy, Michael Unser, Gianluigi Rozza, Jonathan Dong,
- Abstract要約: 本研究では,有限幅のランダムニューラルネットワークにおける情報伝達について検討し,秩序構造とカオス構造の境界がフラクタル構造を示すことを示した。
これは、入力データと最適化とは無関係な設定で、ニューラルネットワークのダイナミクスの基本的な複雑さを示しています。
- 参考スコア（独自算出の注目度）: 16.42026346710591
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Information propagation characterizes how input correlations evolve across layers in deep neural networks. This framework has been well studied using mean-field theory, which assumes infinitely wide networks. However, these assumptions break down for practical, finite-size networks. In this work, we study information propagation in randomly initialized neural networks with finite width and reveal that the boundary between ordered and chaotic regimes exhibits a fractal structure. This shows the fundamental complexity of neural network dynamics, in a setting that is independent of input data and optimization. To extend this analysis beyond multilayer perceptrons, we leverage recently introduced Fourier-based structured transforms, and show that information propagation in convolutional neural networks also follow the same behavior. Our investigation highlights the importance of finite network depth with respect to the tradeoff between separation and robustness.
- Abstract（参考訳）: 情報伝達は、ディープニューラルネットワークの層間での入力相関の進化を特徴付ける。
このフレームワークは、無限に広いネットワークを仮定する平均場理論を用いてよく研究されている。
しかし、これらの仮定は実用的、有限の大きさのネットワークでは分解される。
本研究では,有限幅のランダム初期化ニューラルネットワークにおける情報伝搬について検討し,秩序構造とカオス構造の境界がフラクタル構造を示すことを示す。
これは、入力データと最適化とは無関係な設定で、ニューラルネットワークのダイナミクスの基本的な複雑さを示しています。
この解析を多層パーセプトロンを超えて拡張するために、最近導入されたフーリエ型構造化変換を活用し、畳み込みニューラルネットワークにおける情報伝播も同じ挙動を示す。
本研究は,分離性とロバスト性の間のトレードオフに関して,有限ネットワーク深度の重要性を強調した。
関連論文リスト
- Collective variables of neural networks: empirical time evolution and scaling laws [0.535514140374842]
実験的なニューラル・タンジェント・カーネルのスペクトル、特にエントロピーとトレースのスペクトルに対する特定の測定により、ニューラルネットワークが学習した表現についての洞察が得られることを示す。
結果は、トランスフォーマー、オートエンコーダ、グラフニューラルネットワーク、強化学習研究など、より複雑なネットワークで示される前に、まずテストケースで実証される。
論文 参考訳（メタデータ） (2024-10-09T21:37:14Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Variation Spaces for Multi-Output Neural Networks: Insights on Multi-Task Learning and Network Compression [28.851519959657466]
本稿では,ベクトル値ニューラルネットワークの解析のための新しい理論的枠組みを提案する。
この研究の重要な貢献は、ベクトル値変動空間に対する表現定理の開発である。
これらのベクトル値変動空間に関連するノルムは、複数のタスクに有用な特徴の学習を促進する。
論文 参考訳（メタデータ） (2023-05-25T23:32:10Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳（メタデータ） (2022-12-29T20:57:46Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Understanding Convolutional Neural Networks from Theoretical Perspective
via Volterra Convolution [22.058311878382142]
本研究では,畳み込みニューラルネットワークと有限Volterra畳み込みの関係について検討する。
複雑なネットワークアーキテクチャに邪魔されることなく、ニューラルネットワークの全体的な特性を説明し、研究するための新しいアプローチを提供する。
論文 参考訳（メタデータ） (2021-10-19T12:07:46Z) - The Principles of Deep Learning Theory [19.33681537640272]
この本は、実践的妥当性の深いニューラルネットワークを理解するための効果的な理論アプローチを開発する。
これらのネットワークがトレーニングから非自明な表現を効果的に学習する方法について説明する。
トレーニングネットワークのアンサンブルの有効モデル複雑性を,奥行き比が支配していることを示す。
論文 参考訳（メタデータ） (2021-06-18T15:00:00Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳（メタデータ） (2021-05-27T12:27:24Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳（メタデータ） (2020-06-16T18:45:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。