論文の概要: 4Ward: a Relayering Strategy for Efficient Training of Arbitrarily
Complex Directed Acyclic Graphs
- arxiv url: http://arxiv.org/abs/2209.02037v2
- Date: Mon, 23 Oct 2023 09:08:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 14:57:27.843396
- Title: 4Ward: a Relayering Strategy for Efficient Training of Arbitrarily
Complex Directed Acyclic Graphs
- Title（参考訳）: 4Ward: 任意複素非巡回グラフの効率的な学習のための再層化戦略
- Authors: Tommaso Boccato, Matteo Ferrante, Andrea Duggento, Nicola Toschi
- Abstract要約: フレキシブルで効率的なニューラルネットワークを生成する方法とPythonライブラリである4Ward'を提示する。
4Wardはグラフ描画の分野から引き出された階層化アルゴリズムにインスパイアされ、効率的なフォワードパスを実装している。
我々のアルゴリズムは、マイクロスケールのNN設計フレームワークで複雑なトポロジを活用しようとする研究者に役立てることができる。
- 参考スコア（独自算出の注目度）: 0.12289361708127873
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Thanks to their ease of implementation, multilayer perceptrons (MLPs) have
become ubiquitous in deep learning applications. The graph underlying an MLP is
indeed multipartite, i.e. each layer of neurons only connects to neurons
belonging to the adjacent layer. In contrast, in vivo brain connectomes at the
level of individual synapses suggest that biological neuronal networks are
characterized by scale-free degree distributions or exponentially truncated
power law strength distributions, hinting at potentially novel avenues for the
exploitation of evolution-derived neuronal networks. In this paper, we present
``4Ward'', a method and Python library capable of generating flexible and
efficient neural networks (NNs) from arbitrarily complex directed acyclic
graphs. 4Ward is inspired by layering algorithms drawn from the graph drawing
discipline to implement efficient forward passes, and provides significant time
gains in computational experiments with various Erd\H{o}s-R\'enyi graphs. 4Ward
not only overcomes the sequential nature of the learning matrix method, by
parallelizing the computation of activations, but also addresses the
scalability issues encountered in the current state-of-the-art and provides the
designer with freedom to customize weight initialization and activation
functions. Our algorithm can be of aid for any investigator seeking to exploit
complex topologies in a NN design framework at the microscale.
- Abstract（参考訳）: 実装が容易になったため、多層パーセプトロン(MLP)はディープラーニングアプリケーションで広く普及している。
MLPの下のグラフは確かに多部構造であり、ニューロンの各層は隣の層に属するニューロンにのみ接続する。
対照的に、個々のシナプスのレベルでの生体内脳のコネクトームは、生物学的神経ネットワークがスケールフリーの度数分布または指数的に歪んだ力の法則の強さ分布によって特徴づけられ、進化由来の神経ネットワークを活用するための新たな道のりを示唆している。
本稿では,任意に複雑な非巡回グラフから柔軟かつ効率的なニューラルネットワーク(NN)を生成する方法とPythonライブラリである ``4Ward'' を提案する。
4ward はグラフ描画の分野から引き出された階層化アルゴリズムに触発され、効率的なフォワードパスを実装し、様々な erd\h{o}s-r\'enyi グラフを用いた計算実験においてかなりの時間効果をもたらす。
4Wardは,アクティベーションの並列化による学習行列法の逐次的性質を克服するだけでなく,現在の最先端技術で直面するスケーラビリティ問題にも対処し,ウェイト初期化とアクティベーション関数をカスタマイズする自由を提供する。
我々のアルゴリズムは、マイクロスケールのNN設計フレームワークで複雑なトポロジを活用しようとする研究者に役立てることができる。
関連論文リスト
- Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - Non-convolutional Graph Neural Networks [46.79328529882998]
畳み込み演算子を完全に含まない単純なグラフ学習モジュールを設計し、RUMニューラルネットワークを用いたランダムウォークを作成した。
RUMは競合する性能を実現するが、より堅牢で、メモリ効率が高く、スケーラブルで、最も単純な畳み込みGNNよりも高速である。
論文 参考訳（メタデータ） (2024-07-31T21:29:26Z) - Graph Neural Networks Provably Benefit from Structural Information: A
Feature Learning Perspective [53.999128831324576]
グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。
本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
論文 参考訳（メタデータ） (2023-06-24T10:21:11Z) - Joint Feature and Differentiable $ k $-NN Graph Learning using Dirichlet
Energy [103.74640329539389]
特徴選択と識別可能な$k $-NNグラフ学習を同時に行うディープFS法を提案する。
我々は、ニューラルネットワークで$ k $-NNグラフを学習する際の非微分可能性問題に対処するために、最適輸送理論を用いる。
本モデルの有効性を,合成データセットと実世界のデータセットの両方で広範な実験により検証する。
論文 参考訳（メタデータ） (2023-05-21T08:15:55Z) - Graph Neural Networks Go Forward-Forward [0.0]
グラフフォワード・フォワード法の拡張であるグラフフォワード・フォワード法(GFF)を提案する。
提案手法はメッセージパッシング方式であり,バックプロパゲーションよりも生物学的に妥当な学習方式を提供する。
11の標準グラフ特性予測タスクの実験を行い、GFFがバックプロパゲーションの効果的な代替手段を提供する方法を示した。
論文 参考訳（メタデータ） (2023-02-10T14:45:36Z) - Optimal Learning Rates of Deep Convolutional Neural Networks: Additive
Ridge Functions [19.762318115851617]
深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。
付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
論文 参考訳（メタデータ） (2022-02-24T14:22:32Z) - Dynamic Adaptive Spatio-temporal Graph Convolution for fMRI Modelling [0.0]
本稿では,動的適応時間グラフ畳み込み(DASTGCN)モデルを提案する。
提案手法により,レイヤワイドグラフ構造学習モジュールによる脳領域間の動的接続のエンドツーエンド推論が可能となる。
我々は,安静時機能スキャンを用いて,英国ビオバンクのパイプラインを年齢・性別分類タスクとして評価した。
論文 参考訳（メタデータ） (2021-09-26T07:19:47Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳（メタデータ） (2020-09-24T17:48:59Z) - Graph Structure of Neural Networks [104.33754950606298]
ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。
リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。
トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
論文 参考訳（メタデータ） (2020-07-13T17:59:31Z) - Hcore-Init: Neural Network Initialization based on Graph Degeneracy [22.923756039561194]
ディープラーニングアーキテクチャから抽出した全重み付きマルチパートグラフに対して,kコア構造の適応版を提案する。
多部グラフは双部グラフの組合せであり、ハイパーグラフの入射グラフであるので、k-ハイパーコア分解を設計する。
論文 参考訳（メタデータ） (2020-04-16T12:57:14Z) - Geometrically Principled Connections in Graph Neural Networks [66.51286736506658]
我々は、幾何学的深層学習の新興分野におけるイノベーションの原動力は、幾何が依然として主要な推進力であるべきだと論じている。
グラフニューラルネットワークとコンピュータグラフィックスとデータ近似モデルとの関係:放射基底関数(RBF)
完全連結層とグラフ畳み込み演算子を組み合わせた新しいビルディングブロックであるアフィンスキップ接続を導入する。
論文 参考訳（メタデータ） (2020-04-06T13:25:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。