論文の概要: Emergence of Network Motifs in Deep Neural Networks
- arxiv url: http://arxiv.org/abs/1912.12244v1
- Date: Fri, 27 Dec 2019 17:05:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 23:16:22.324491
- Title: Emergence of Network Motifs in Deep Neural Networks
- Title(参考訳): ディープニューラルネットワークにおけるネットワークモチーフの発生
- Authors: Matteo Zambra, Alberto Testolin, Amos Maritan
- Abstract要約: ニューラルネットワークの研究にネットワークサイエンスツールをうまく応用できることが示される。
特に,マルチ層パーセプトロンにおけるネットワークモチーフの出現について検討する。
- 参考スコア(独自算出の注目度): 0.35911228556176483
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Network science can offer fundamental insights into the structural and
functional properties of complex systems. For example, it is widely known that
neuronal circuits tend to organize into basic functional topological modules,
called "network motifs". In this article we show that network science tools can
be successfully applied also to the study of artificial neural networks
operating according to self-organizing (learning) principles. In particular, we
study the emergence of network motifs in multi-layer perceptrons, whose initial
connectivity is defined as a stack of fully-connected, bipartite graphs. Our
simulations show that the final network topology is primarily shaped by
learning dynamics, but can be strongly biased by choosing appropriate weight
initialization schemes. Overall, our results suggest that non-trivial
initialization strategies can make learning more effective by promoting the
development of useful network motifs, which are often surprisingly consistent
with those observed in general transduction networks.
- Abstract(参考訳): ネットワーク科学は複雑なシステムの構造と機能に関する基本的な洞察を与えることができる。
例えば、神経回路が「ネットワークモチーフ」と呼ばれる基本的な機能的トポロジカルモジュールに組織化されることが広く知られている。
本稿では、自己組織化(学習)の原則に従って動作する人工ニューラルネットワークの研究にも、ネットワークサイエンスツールがうまく適用可能であることを示す。
特に,複数層パーセプトロンにおけるネットワークモチーフの出現について検討し,その初期接続を完全連結二部グラフのスタックとして定義する。
シミュレーションにより,最終ネットワークトポロジーは主に学習ダイナミクスによって形成されるが,適切な重み初期化スキームを選択することで強くバイアスされることが示された。
全体として,非自明な初期化戦略は有用なネットワークモチーフの開発を促進することによって学習をより効果的にすることが示唆された。
関連論文リスト
- Conditional computation in neural networks: principles and research
trends [50.55999420565082]
本稿では,ニューラルネットワークの設計にテクトコンディショナリ計算を適用するという,新たな領域の原理とアイデアを要約する。
特に、入力に条件付きで計算グラフの一部を動的に活性化または非活性化するニューラルネットワークに焦点を当てる。
論文 参考訳(メタデータ) (2024-03-12T11:56:38Z) - Feature emergence via margin maximization: case studies in algebraic
tasks [4.401622714202886]
訓練されたニューラルネットワークは、一般群における合成を行うために、既約群理論表現に対応する特徴を用いることを示す。
より一般的に、私たちの技術が、ニューラルネットワークが特定の計算戦略を採用する理由のより深い理解を促進するのに役立つことを願っています。
論文 参考訳(メタデータ) (2023-11-13T18:56:33Z) - Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。
ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文 参考訳(メタデータ) (2023-10-16T02:12:32Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。
正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。
我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
論文 参考訳(メタデータ) (2022-07-21T12:01:03Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳(メタデータ) (2022-06-13T12:03:32Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。
結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
論文 参考訳(メタデータ) (2020-06-22T12:46:44Z) - Ring Reservoir Neural Networks for Graphs [15.07984894938396]
貯留層コンピューティングモデルは、実りあるグラフの埋め込みを開発する上で重要な役割を果たす。
我々の中心となる提案は、リングトポロジーに従うために隠れたニューロンの組織を形成することに基づいている。
グラフ分類タスクの実験結果は、リング・リザーバアーキテクチャが特に効果的なネットワーク構成を可能にしていることを示している。
論文 参考訳(メタデータ) (2020-05-11T17:51:40Z) - Input-to-State Representation in linear reservoirs dynamics [15.491286626948881]
貯留層コンピューティングは、リカレントニューラルネットワークを設計するための一般的なアプローチである。
これらのネットワークの動作原理は、完全には理解されていない。
このようなネットワークの力学の新たな解析法を提案する。
論文 参考訳(メタデータ) (2020-03-24T00:14:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。