論文の概要: Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis

• arxiv url: http://arxiv.org/abs/2205.05662v1
• Date: Wed, 11 May 2022 17:43:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-12 20:04:43.184026
• Title: Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis
• Title（参考訳）: 深層アーキテクチャの接続性が重要 - きめ細かな分析
• Authors: Wuyang Chen, Wei Huang, Xinyu Gong, Boris Hanin, Zhangyang Wang
• Abstract要約: 我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
• 参考スコア（独自算出の注目度）: 94.64007376939735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Advanced deep neural networks (DNNs), designed by either human or AutoML algorithms, are growing increasingly complex. Diverse operations are connected by complicated connectivity patterns, e.g., various types of skip connections. Those topological compositions are empirically effective and observed to smooth the loss landscape and facilitate the gradient flow in general. However, it remains elusive to derive any principled understanding of their effects on the DNN capacity or trainability, and to understand why or in which aspect one specific connectivity pattern is better than another. In this work, we theoretically characterize the impact of connectivity patterns on the convergence of DNNs under gradient descent training in fine granularity. By analyzing a wide network's Neural Network Gaussian Process (NNGP), we are able to depict how the spectrum of an NNGP kernel propagates through a particular connectivity pattern, and how that affects the bound of convergence rates. As one practical implication of our results, we show that by a simple filtration on "unpromising" connectivity patterns, we can trim down the number of models to evaluate, and significantly accelerate the large-scale neural architecture search without any overhead. Codes will be released at https://github.com/chenwydj/architecture_convergence.
• Abstract（参考訳）: 人間またはオートmlアルゴリズムによって設計されたadvanced deep neural networks(dnn)はますます複雑になっている。 多様な操作は複雑な接続パターン、例えば様々な種類のスキップ接続によって接続される。 これらのトポロジカルな組成は実験的に有効であり、損失景観を滑らかにし、一般に勾配流を促進するために観察される。 しかしながら、dnnのキャパシティやトレーサビリティへの影響に関する原則的な理解を導出し、ある特定の接続パターンが他よりも優れている理由や側面を理解することは、いまだに不可能である。 本研究では,DNNの粒度勾配降下訓練における接続パターンがDNNの収束に与える影響を理論的に評価する。 広帯域ネットワークのニューラルネットワークガウス過程(NNGP)を解析することにより、NNGPカーネルのスペクトルが特定の接続パターンを介してどのように伝播し、それが収束率の境界にどのように影響するかを記述することができる。 この結果の実際的な含意として,"予期せぬ"接続パターンを単純に濾過することで,評価するモデル数を削減し,オーバーヘッドを伴わずに大規模ニューラルネットワークの探索を著しく高速化できることを示す。 コードはhttps://github.com/chenwydj/architecture_convergenceでリリースされる。

関連論文リスト

• Parallel and Distributed Graph Neural Networks: An In-Depth Concurrency Analysis [17.365462681313755]
  グラフニューラルネットワーク(GNN)は、ディープラーニングにおいて最も強力なツールのひとつだ。 ノード分類、グラフ分類、リンク予測などの非構造化ネットワーク上の複雑な問題を高精度に解決する。 しかし、GNNの推論とトレーニングは複雑であり、不規則なグラフ処理の特徴と密度と正規な計算を一意に組み合わせている。 この複雑さは、現代の大規模並列アーキテクチャ上でGNNを効率的に実行することを非常に困難にしている。
  論文  参考訳（メタデータ） (2022-05-19T17:11:45Z)
• BScNets: Block Simplicial Complex Neural Networks [79.81654213581977]
  グラフ学習における最新の方向性として、SNN(Simplicial Neural Network)が最近登場した。 リンク予測のためのBlock Simplicial Complex Neural Networks (BScNets) モデルを提案する。 BScNetsは、コストを抑えながら最先端のモデルよりも大きなマージンを保っている。
  論文  参考訳（メタデータ） (2021-12-13T17:35:54Z)
• Characterizing Learning Dynamics of Deep Neural Networks via Complex Networks [1.0869257688521987]
  複素ネットワーク理論(CNT)は、ディープニューラルネットワーク(DNN)を重み付きグラフとして表現し、それらを動的システムとして研究する。 ノード/ニューロンとレイヤ、すなわちNodes StrengthとLayers Fluctuationのメトリクスを紹介します。 本フレームワークは,学習力学のトレンドを抽出し,高精度ネットワークから低次ネットワークを分離する。
  論文  参考訳（メタデータ） (2021-10-06T10:03:32Z)
• Neural network relief: a pruning algorithm based on neural activity [68.12222731020694]
  重要でない接続を非活性化する簡易な重要スコア計量を提案する。 MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。 このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
  論文  参考訳（メタデータ） (2021-09-22T15:33:49Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Analyzing the Performance of Graph Neural Networks with Pipe Parallelism [2.269587850533721]
  ノードやエッジの分類やリンクの予測といったタスクで大きな成功を収めたグラフニューラルネットワーク(GNN)に注目した。 グラフ技術の進歩には,大規模ネットワーク処理のための新たなアプローチが必要である。 私たちは、ディープラーニングコミュニティで成功したと知られている既存のツールとフレームワークを使用して、GNNを並列化する方法を研究します。
  論文  参考訳（メタデータ） (2020-12-20T04:20:38Z)
• Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition [126.51241919472356]
  我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。 ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
  論文  参考訳（メタデータ） (2020-11-26T14:43:04Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。