論文の概要: Scale Equivariant Graph Metanetworks

• arxiv url: http://arxiv.org/abs/2406.10685v1
• Date: Sat, 15 Jun 2024 16:41:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 23:14:08.726643
• Title: Scale Equivariant Graph Metanetworks
• Title（参考訳）: スケール同変グラフメタネット
• Authors: Ioannis Kalogeropoulos, Giorgos Bouritsas, Yannis Panagakis,
• Abstract要約: 本稿では,スケーリング対称性を取り入れたグラフメタネットワーク(メッセージパス)パラダイムを適用するフレームワークを提案する。 提案手法は,複数のデータセットとアクティベーション関数の最先端性能を向上することを示す。
• 参考スコア（独自算出の注目度）: 20.445135424921908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper pertains to an emerging machine learning paradigm: learning higher-order functions, i.e. functions whose inputs are functions themselves, $\textit{particularly when these inputs are Neural Networks (NNs)}$. With the growing interest in architectures that process NNs, a recurring design principle has permeated the field: adhering to the permutation symmetries arising from the connectionist structure of NNs. $\textit{However, are these the sole symmetries present in NN parameterizations}$? Zooming into most practical activation functions (e.g. sine, ReLU, tanh) answers this question negatively and gives rise to intriguing new symmetries, which we collectively refer to as $\textit{scaling symmetries}$, that is, non-zero scalar multiplications and divisions of weights and biases. In this work, we propose $\textit{Scale Equivariant Graph MetaNetworks - ScaleGMNs}$, a framework that adapts the Graph Metanetwork (message-passing) paradigm by incorporating scaling symmetries and thus rendering neuron and edge representations equivariant to valid scalings. We introduce novel building blocks, of independent technical interest, that allow for equivariance or invariance with respect to individual scalar multipliers or their product and use them in all components of ScaleGMN. Furthermore, we prove that, under certain expressivity conditions, ScaleGMN can simulate the forward and backward pass of any input feedforward neural network. Experimental results demonstrate that our method advances the state-of-the-art performance for several datasets and activation functions, highlighting the power of scaling symmetries as an inductive bias for NN processing.
• Abstract（参考訳）: 本稿では,高次関数の学習,すなわち入力が関数自身である関数の学習,特にこれらの入力がニューラルネットワーク(NN)$である場合の$\textit{particularlyについて述べる。 NNを処理するアーキテクチャへの関心が高まり、繰り返し行われる設計原則は、NNのコネクショナリスト構造から生じる置換対称性に固執する分野に浸透した。 しかし、これらはNNパラメータ化に唯一存在する対称性なのだろうか? 最も実用的なアクティベーション関数(例えば、sine, ReLU, tanh)にズームすると、この疑問に否定的な答えが得られ、新しい対称性がもたらされ、これは集合的に $\textit{scaling symmetries}$、すなわち、非ゼロスカラー乗法と重みと偏りの分割である。 本稿では,スケーリング対称性を取り入れたグラフメタネットワーク(メッセージパッシング)パラダイムを適用したフレームワークである$\textit{Scale Equivariant Graph MetaNetworks - ScaleGMNs}$を提案する。 個別のスカラー乗算器や製品に対して等分散や不変性を許容し,ScaleGMNのすべてのコンポーネントで使用することができる,独立した技術的関心を持つ新規なビルディングブロックを導入する。 さらに、ある表現性条件下では、ScaleGMNは入力フィードフォワードニューラルネットワークの前方および後方通過をシミュレートできることを示す。 実験により,提案手法はいくつかのデータセットとアクティベーション関数の最先端性能を向上し,NN処理の帰納バイアスとして対称性のスケーリングのパワーを強調した。

関連論文リスト

• Neural Metamorphosis [72.88137795439407]
  本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。 NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。 75%の圧縮速度でもフルサイズの性能を維持する。
  論文  参考訳（メタデータ） (2024-10-10T14:49:58Z)
• Similarity Equivariant Graph Neural Networks for Homogenization of Metamaterials [3.6443770850509423]
  ソフトで多孔質なメカニカルメタマテリアルは、ソフトロボティクス、音の低減、バイオメディシンに重要な応用をもたらすパターン変換を示す。 我々は、代理モデルとして機能するために好意的にスケールする機械学習ベースのアプローチを開発する。 このネットワークは、対称性の少ないグラフニューラルネットワークよりも正確で、データ効率が高いことを示す。
  論文  参考訳（メタデータ） (2024-04-26T12:30:32Z)
• Universal Neural Functionals [67.80283995795985]
  多くの現代の機械学習タスクでは、ウェイトスペース機能を処理することが難しい問題である。 最近の研究は、単純なフィードフォワードネットワークの置換対称性に同値な有望な重み空間モデルを開発した。 本研究は,任意の重み空間に対する置換同変モデルを自動的に構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-07T20:12:27Z)
• Neural Functional Transformers [99.98750156515437]
  本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
  論文  参考訳（メタデータ） (2023-05-22T23:38:27Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Invariant Layers for Graphs with Nodes of Different Types [27.530546740444077]
  入力置換に不変な線形層を実装することで、既存の手法よりも重要なノード間の相互作用を効果的に学習できることを示す。 この結果は、$n$ノードを持つグラフ上の関数近似が、最もよく知られた有界な$leq n(n-1)/2$よりも厳密な大きさのテンソル$leq n$で実現できることを示唆している。
  論文  参考訳（メタデータ） (2023-02-27T07:10:33Z)
• Smooth Mathematical Function from Compact Neural Networks [0.0]
  NNは、非常に正確で、非常にスムーズな関数を生成します。 新しいアクティベーション関数,メタバッチ法,数値データの特徴,メタパラメータを用いたメタ拡張について述べる。
  論文  参考訳（メタデータ） (2022-12-31T11:33:24Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。