論文の概要: Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis

• arxiv url: http://arxiv.org/abs/2205.05662v1
• Date: Wed, 11 May 2022 17:43:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-12 20:04:43.184026
• Title: Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis
• Title（参考訳）: 深層アーキテクチャの接続性が重要 - きめ細かな分析
• Authors: Wuyang Chen, Wei Huang, Xinyu Gong, Boris Hanin, Zhangyang Wang
• Abstract要約: 我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
• 参考スコア（独自算出の注目度）: 94.64007376939735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Advanced deep neural networks (DNNs), designed by either human or AutoML algorithms, are growing increasingly complex. Diverse operations are connected by complicated connectivity patterns, e.g., various types of skip connections. Those topological compositions are empirically effective and observed to smooth the loss landscape and facilitate the gradient flow in general. However, it remains elusive to derive any principled understanding of their effects on the DNN capacity or trainability, and to understand why or in which aspect one specific connectivity pattern is better than another. In this work, we theoretically characterize the impact of connectivity patterns on the convergence of DNNs under gradient descent training in fine granularity. By analyzing a wide network's Neural Network Gaussian Process (NNGP), we are able to depict how the spectrum of an NNGP kernel propagates through a particular connectivity pattern, and how that affects the bound of convergence rates. As one practical implication of our results, we show that by a simple filtration on "unpromising" connectivity patterns, we can trim down the number of models to evaluate, and significantly accelerate the large-scale neural architecture search without any overhead. Codes will be released at https://github.com/chenwydj/architecture_convergence.
• Abstract（参考訳）: 人間またはオートmlアルゴリズムによって設計されたadvanced deep neural networks(dnn)はますます複雑になっている。 多様な操作は複雑な接続パターン、例えば様々な種類のスキップ接続によって接続される。 これらのトポロジカルな組成は実験的に有効であり、損失景観を滑らかにし、一般に勾配流を促進するために観察される。 しかしながら、dnnのキャパシティやトレーサビリティへの影響に関する原則的な理解を導出し、ある特定の接続パターンが他よりも優れている理由や側面を理解することは、いまだに不可能である。 本研究では,DNNの粒度勾配降下訓練における接続パターンがDNNの収束に与える影響を理論的に評価する。 広帯域ネットワークのニューラルネットワークガウス過程(NNGP)を解析することにより、NNGPカーネルのスペクトルが特定の接続パターンを介してどのように伝播し、それが収束率の境界にどのように影響するかを記述することができる。 この結果の実際的な含意として,"予期せぬ"接続パターンを単純に濾過することで,評価するモデル数を削減し,オーバーヘッドを伴わずに大規模ニューラルネットワークの探索を著しく高速化できることを示す。 コードはhttps://github.com/chenwydj/architecture_convergenceでリリースされる。

関連論文リスト

• Topological Neural Networks go Persistent, Equivariant, and Continuous [6.314000948709255]
  我々は,GNN/TNNとPHの交差において,様々な手法を仮定し,統一するフレームワークとしてTopNetsを紹介した。 TopNetは、抗体設計、分子動力学シミュレーション、薬物特性予測など、さまざまなタスクで強力なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-05T11:56:54Z)
• Information-Theoretic Generalization Bounds for Deep Neural Networks [22.87479366196215]
  ディープニューラルネットワーク(DNN)は、実用的な応用において、非常に優れた一般化能力を示す。 本研究の目的は,情報理論の一般化境界による教師あり学習における深度の影響とメリットを捉えることである。
  論文  参考訳（メタデータ） (2024-04-04T03:20:35Z)
• From Alexnet to Transformers: Measuring the Non-linearity of Deep Neural Networks with Affine Optimal Transport [32.39176908225668]
  本稿では,DNNの非線形性シグネチャの概念を紹介する。これはディープニューラルネットワークの非線形性を測定するための,理論上初めての音響解である。 提案した非線形署名の実用性を明らかにするための実験結果について述べる。
  論文  参考訳（メタデータ） (2023-10-17T17:50:22Z)
• Wide Neural Networks as Gaussian Processes: Lessons from Deep Equilibrium Models [16.07760622196666]
  本研究では,層間における共有重み行列を持つ無限深度ニューラルネットワークであるDeep equilibrium Model (DEQ)について検討する。 解析により,DEC層の幅が無限大に近づくにつれ,ガウス過程に収束することが明らかとなった。 注目すべきは、この収束は深さと幅の限界が交換されても成り立つことである。
  論文  参考訳（メタデータ） (2023-10-16T19:00:43Z)
• Simple and Efficient Heterogeneous Graph Neural Network [55.56564522532328]
  不均一グラフニューラルネットワーク(HGNN)は、不均一グラフの豊富な構造的および意味的な情報をノード表現に埋め込む強力な能力を持つ。 既存のHGNNは、同種グラフ上のグラフニューラルネットワーク(GNN)から多くのメカニズム、特に注意機構と多層構造を継承する。 本稿では,これらのメカニズムを詳細に検討し,簡便かつ効率的なヘテロジニアスグラフニューラルネットワーク(SeHGNN)を提案する。
  論文  参考訳（メタデータ） (2022-07-06T10:01:46Z)
• BScNets: Block Simplicial Complex Neural Networks [79.81654213581977]
  グラフ学習における最新の方向性として、SNN(Simplicial Neural Network)が最近登場した。 リンク予測のためのBlock Simplicial Complex Neural Networks (BScNets) モデルを提案する。 BScNetsは、コストを抑えながら最先端のモデルよりも大きなマージンを保っている。
  論文  参考訳（メタデータ） (2021-12-13T17:35:54Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。