論文の概要: Graph Metanetworks for Processing Diverse Neural Architectures
- arxiv url: http://arxiv.org/abs/2312.04501v2
- Date: Fri, 29 Dec 2023 22:55:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 00:48:11.944952
- Title: Graph Metanetworks for Processing Diverse Neural Architectures
- Title(参考訳): 多様なニューラルアーキテクチャを処理するグラフメタネットワーク
- Authors: Derek Lim, Haggai Maron, Marc T. Law, Jonathan Lorraine, James Lucas
- Abstract要約: Graph Metanetworks(GMN)は、競合するメソッドが苦労するニューラルネットワークに一般化する。
GMNは,入力ニューラルネットワーク関数を残したパラメータ置換対称性と等価であることを示す。
- 参考スコア(独自算出の注目度): 33.686728709734105
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks efficiently encode learned information within their
parameters. Consequently, many tasks can be unified by treating neural networks
themselves as input data. When doing so, recent studies demonstrated the
importance of accounting for the symmetries and geometry of parameter spaces.
However, those works developed architectures tailored to specific networks such
as MLPs and CNNs without normalization layers, and generalizing such
architectures to other types of networks can be challenging. In this work, we
overcome these challenges by building new metanetworks - neural networks that
take weights from other neural networks as input. Put simply, we carefully
build graphs representing the input neural networks and process the graphs
using graph neural networks. Our approach, Graph Metanetworks (GMNs),
generalizes to neural architectures where competing methods struggle, such as
multi-head attention layers, normalization layers, convolutional layers, ResNet
blocks, and group-equivariant linear layers. We prove that GMNs are expressive
and equivariant to parameter permutation symmetries that leave the input neural
network functions unchanged. We validate the effectiveness of our method on
several metanetwork tasks over diverse neural network architectures.
- Abstract(参考訳): ニューラルネットワークは、学習した情報をパラメータ内で効率的にエンコードする。
したがって、ニューラルネットワーク自体を入力データとして扱うことで、多くのタスクを統一することができる。
その際、近年の研究は、パラメータ空間の対称性と幾何学の計算の重要性を実証した。
しかし、これらの作品はmlpやcnnのような特定のネットワーク向けに正規化層のないアーキテクチャを開発しており、そのようなアーキテクチャを他の種類のネットワークに一般化することは困難である。
本研究では、他のニューラルネットワークから重みを取るニューラルネットワークを入力として構築することで、これらの課題を克服する。
簡単に言えば、入力ニューラルネットワークを表すグラフを慎重に構築し、グラフニューラルネットワークを使用してグラフを処理する。
当社のアプローチであるgraph metanetworks(gmns)は、マルチヘッドアテンション層、正規化層、畳み込み層、resnetブロック、グループ同変線形層など、競合するメソッドが苦労する神経アーキテクチャに一般化します。
GMNは,入力ニューラルネットワーク関数が変化しないパラメータ置換対称性と等価であることを示す。
多様なニューラルネットワークアーキテクチャ上でのメタネットワークタスクにおける本手法の有効性を検証する。
関連論文リスト
- Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。
このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
論文 参考訳(メタデータ) (2023-12-16T14:09:23Z) - Equivariant Matrix Function Neural Networks [1.8717045355288808]
解析行列同変関数を通じて非局所的相互作用をパラメータ化する新しいアーキテクチャであるマトリックス関数ニューラルネットワーク(MFNs)を導入する。
MFNは量子系の複雑な非局所的な相互作用を捉えることができ、新しい最先端の力場への道を歩むことができる。
論文 参考訳(メタデータ) (2023-10-16T14:17:00Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-02-27T18:52:38Z) - Variational Tensor Neural Networks for Deep Learning [0.0]
ディープニューラルネットワーク(NN)へのテンソルネットワーク(TN)の統合を提案する。
これによりスケーラブルなテンソルニューラルネットワーク(TNN)アーキテクチャが実現され、多数のニューロンやレイヤに対して効率的にトレーニングすることができる。
我々のトレーニングアルゴリズムは、テンソル化トレーニング可能な重みの絡み合い構造に関する洞察を提供し、量子神経状態としての表現力を明らかにする。
論文 参考訳(メタデータ) (2022-11-26T20:24:36Z) - Deep Neural Networks as Complex Networks [1.704936863091649]
我々は、重み付きグラフとしてディープニューラルネットワーク(DNN)を表現するために複雑ネットワーク理論を用いる。
我々は、DNNを動的システムとして研究するためのメトリクスを導入し、その粒度は、重みから神経細胞を含む層まで様々である。
我々の測定値が低性能ネットワークと高パフォーマンスネットワークを区別していることが示される。
論文 参考訳(メタデータ) (2022-09-12T16:26:04Z) - Parameter Convex Neural Networks [13.42851919291587]
本研究では,ある条件下でのニューラルネットワークのパラメータに関して凸である指数的多層ニューラルネットワーク(EMLP)を提案する。
後期実験では,指数グラフ畳み込みネットワーク(EGCN)を同じアーキテクチャで構築し,グラフ分類データセット上で実験を行う。
論文 参考訳(メタデータ) (2022-06-11T16:44:59Z) - Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。
本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。
私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
論文 参考訳(メタデータ) (2020-12-10T22:30:25Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳(メタデータ) (2020-10-02T16:50:26Z) - Graph Structure of Neural Networks [104.33754950606298]
ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。
リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。
トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
論文 参考訳(メタデータ) (2020-07-13T17:59:31Z) - Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。
結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
論文 参考訳(メタデータ) (2020-06-22T12:46:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。