論文の概要: Emergence of Network Motifs in Deep Neural Networks
- arxiv url: http://arxiv.org/abs/1912.12244v1
- Date: Fri, 27 Dec 2019 17:05:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 23:16:22.324491
- Title: Emergence of Network Motifs in Deep Neural Networks
- Title（参考訳）: ディープニューラルネットワークにおけるネットワークモチーフの発生
- Authors: Matteo Zambra, Alberto Testolin, Amos Maritan
- Abstract要約: ニューラルネットワークの研究にネットワークサイエンスツールをうまく応用できることが示される。
特に,マルチ層パーセプトロンにおけるネットワークモチーフの出現について検討する。
- 参考スコア（独自算出の注目度）: 0.35911228556176483
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Network science can offer fundamental insights into the structural and
functional properties of complex systems. For example, it is widely known that
neuronal circuits tend to organize into basic functional topological modules,
called "network motifs". In this article we show that network science tools can
be successfully applied also to the study of artificial neural networks
operating according to self-organizing (learning) principles. In particular, we
study the emergence of network motifs in multi-layer perceptrons, whose initial
connectivity is defined as a stack of fully-connected, bipartite graphs. Our
simulations show that the final network topology is primarily shaped by
learning dynamics, but can be strongly biased by choosing appropriate weight
initialization schemes. Overall, our results suggest that non-trivial
initialization strategies can make learning more effective by promoting the
development of useful network motifs, which are often surprisingly consistent
with those observed in general transduction networks.
- Abstract（参考訳）: ネットワーク科学は複雑なシステムの構造と機能に関する基本的な洞察を与えることができる。
例えば、神経回路が「ネットワークモチーフ」と呼ばれる基本的な機能的トポロジカルモジュールに組織化されることが広く知られている。
本稿では、自己組織化(学習)の原則に従って動作する人工ニューラルネットワークの研究にも、ネットワークサイエンスツールがうまく適用可能であることを示す。
特に,複数層パーセプトロンにおけるネットワークモチーフの出現について検討し,その初期接続を完全連結二部グラフのスタックとして定義する。
シミュレーションにより,最終ネットワークトポロジーは主に学習ダイナミクスによって形成されるが,適切な重み初期化スキームを選択することで強くバイアスされることが示された。
全体として,非自明な初期化戦略は有用なネットワークモチーフの開発を促進することによって学習をより効果的にすることが示唆された。
関連論文リスト
- From Lazy to Rich: Exact Learning Dynamics in Deep Linear Networks [47.13391046553908]
人工ネットワークでは、これらのモデルの有効性はタスク固有の表現を構築する能力に依存している。
以前の研究では、異なる初期化によって、表現が静的な遅延状態にあるネットワークや、表現が動的に進化するリッチ/フィーチャーな学習体制のいずれかにネットワークを配置できることが強調されていた。
これらの解は、豊かな状態から遅延状態までのスペクトルにわたる表現とニューラルカーネルの進化を捉えている。
論文 参考訳（メタデータ） (2024-09-22T23:19:04Z) - Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。
ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文 参考訳（メタデータ） (2023-10-16T02:12:32Z) - The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。
正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。
我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
論文 参考訳（メタデータ） (2022-07-21T12:01:03Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。
結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
論文 参考訳（メタデータ） (2020-06-22T12:46:44Z) - Input-to-State Representation in linear reservoirs dynamics [15.491286626948881]
貯留層コンピューティングは、リカレントニューラルネットワークを設計するための一般的なアプローチである。
これらのネットワークの動作原理は、完全には理解されていない。
このようなネットワークの力学の新たな解析法を提案する。
論文 参考訳（メタデータ） (2020-03-24T00:14:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。