論文の概要: Eigenspace Restructuring: a Principle of Space and Frequency in Neural Networks

• arxiv url: http://arxiv.org/abs/2112.05611v1
• Date: Fri, 10 Dec 2021 15:44:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-13 13:19:58.983581
• Title: Eigenspace Restructuring: a Principle of Space and Frequency in Neural Networks
• Title（参考訳）: 固有空間再構成:ニューラルネットワークにおける空間と周波数の原理
• Authors: Lechao Xiao
• Abstract要約: 無限幅多層パーセプトロン(MLP)の固有構造は、概念周波数のみに依存することを示す。 深層畳み込みネットワーク(CNN)のトポロジは、関連する固有空間をより微細な部分空間に再構成する。 その結果得られた微細な固有構造は、ネットワークの学習性を大幅に改善する。
• 参考スコア（独自算出の注目度）: 11.480563447698172
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the fundamental principles behind the massive success of neural networks is one of the most important open questions in deep learning. However, due to the highly complex nature of the problem, progress has been relatively slow. In this note, through the lens of infinite-width networks, a.k.a. neural kernels, we present one such principle resulting from hierarchical localities. It is well-known that the eigenstructure of infinite-width multilayer perceptrons (MLPs) depends solely on the concept frequency, which measures the order of interactions. We show that the topologies from deep convolutional networks (CNNs) restructure the associated eigenspaces into finer subspaces. In addition to frequency, the new structure also depends on the concept space, which measures the spatial distance among nonlinear interaction terms. The resulting fine-grained eigenstructure dramatically improves the network's learnability, empowering them to simultaneously model a much richer class of interactions, including Long-Range-Low-Frequency interactions, Short-Range-High-Frequency interactions, and various interpolations and extrapolations in-between. Additionally, model scaling can improve the resolutions of interpolations and extrapolations and, therefore, the network's learnability. Finally, we prove a sharp characterization of the generalization error for infinite-width CNNs of any depth in the high-dimensional setting. Two corollaries follow: (1) infinite-width deep CNNs can break the curse of dimensionality without losing their expressivity, and (2) scaling improves performance in both the finite and infinite data regimes.
• Abstract（参考訳）: ニューラルネットワークの成功の背後にある基本的な原則を理解することは、ディープラーニングにおいて最も重要なオープン質問の1つです。 しかし、問題の非常に複雑な性質のため、進展は比較的遅い。 本稿では,無限幅ネットワーク,すなわちニューラルカーネルのレンズを通して,階層的局所性から生じる1つの原理を提案する。 無限幅多層パーセプトロン(MLP)の固有構造は、相互作用の順序を測定する概念周波数のみに依存することが知られている。 深層畳み込みネットワーク(CNN)のトポロジは、関連する固有空間をより微細な部分空間に再構成する。 周波数に加えて、新しい構造は、非線形相互作用項間の空間距離を測定する概念空間にも依存する。 結果として得られる細粒度の固有構造はネットワークの学習性を劇的に改善し、長距離-低周波相互作用、短距離-高周波相互作用、様々な補間と補間の間の外挿など、よりリッチな相互作用を同時にモデル化することができる。 さらに、モデルスケーリングは補間や外挿の解像度を改善し、ネットワークの学習可能性を向上させる。 最後に,高次元環境における任意の深さの無限幅cnnの一般化誤差を鋭く評価する。 1) 無限幅深部CNNは表現力を失うことなく次元の呪いを破ることができ、(2) スケーリングは有限データと無限データの両方で性能を向上させる。

関連論文リスト

• Topological Neural Networks: Mitigating the Bottlenecks of Graph Neural Networks via Higher-Order Interactions [1.994307489466967]
  この研究は、メッセージパッシングニューラルネットワークにおいて、ネットワークの幅、深さ、グラフトポロジがオーバーカッシング現象に与える影響を明らかにする理論的枠組みから始まる。 この研究は、トポロジカルニューラルネットワークを通して高次相互作用と多関係帰納バイアスへと流れていく。 グラフ注意ネットワークにインスパイアされた2つのトポロジカルアテンションネットワーク(Simplicial and Cell Attention Networks)が提案されている。
  論文  参考訳（メタデータ） (2024-02-10T08:26:06Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Unified Field Theory for Deep and Recurrent Neural Networks [56.735884560668985]
  本稿では,再帰的ネットワークと深層ネットワークの両方に対する平均場理論の統一的,体系的な導出について述べる。 平均場理論への収束は、ディープネットワークよりもリカレントネットワークの方が典型的に遅い。 提案手法はガウス過程が1/n$の体系的展開の最下位次数であることを示す。
  論文  参考訳（メタデータ） (2021-12-10T15:06:11Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• Doubly infinite residual neural networks: a diffusion process approach [8.642603456626393]
  ディープResNetは望ましくないフォワードプロパゲーション特性に悩まされないことを示す。 我々は2つの無限完全接続 ResNet に焦点を当て、i.i.d を考える。 我々の結果は、未スケールのネットワークのパラメータが i.d. であり、残余ブロックが浅い場合、ResNetの2倍の表現力に制限があることを示している。
  論文  参考訳（メタデータ） (2020-07-07T07:45:34Z)
• Depth Enables Long-Term Memory for Recurrent Neural Networks [0.0]
  本稿では,スタートエンド分離ランク(Start-End separation rank)と呼ばれる時間的情報フローを支援するネットワークの能力を評価する。 より深い再帰的ネットワークは、浅いネットワークで支えられるものよりも高いスタートエンド分離ランクをサポートすることを証明している。
  論文  参考訳（メタデータ） (2020-03-23T10:29:14Z)
• A Rigorous Framework for the Mean Field Limit of Multilayer Neural Networks [9.89901717499058]
  ニューラルネットワークを平均場に埋め込むための数学的に厳密なフレームワークを開発する。 ネットワークの幅が大きくなるにつれて、ネットワークの学習軌道は制限によってうまく捉えられることが示される。 我々は、大幅多層ネットワークのいくつかの特性を証明した。
  論文  参考訳（メタデータ） (2020-01-30T16:43:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。