論文の概要: Graph Neural Networks with Adaptive Readouts

• arxiv url: http://arxiv.org/abs/2211.04952v1
• Date: Wed, 9 Nov 2022 15:21:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 16:20:33.408702
• Title: Graph Neural Networks with Adaptive Readouts
• Title（参考訳）: 適応的な読み出しを伴うグラフニューラルネットワーク
• Authors: David Buterez, Jon Paul Janet, Steven J. Kiddle, Dino Oglic, Pietro Li\`o
• Abstract要約: 異なる領域とグラフ特性にまたがる40以上のデータセットに対して,ニューラルネットワークによる読み出しの有効性を示す。 我々は、近隣の集約数と異なる畳み込み演算子の数に対して、標準読み出しよりも一貫した改善を観察する。
• 参考スコア（独自算出の注目度）: 5.575293536755126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An effective aggregation of node features into a graph-level representation via readout functions is an essential step in numerous learning tasks involving graph neural networks. Typically, readouts are simple and non-adaptive functions designed such that the resulting hypothesis space is permutation invariant. Prior work on deep sets indicates that such readouts might require complex node embeddings that can be difficult to learn via standard neighborhood aggregation schemes. Motivated by this, we investigate the potential of adaptive readouts given by neural networks that do not necessarily give rise to permutation invariant hypothesis spaces. We argue that in some problems such as binding affinity prediction where molecules are typically presented in a canonical form it might be possible to relax the constraints on permutation invariance of the hypothesis space and learn a more effective model of the affinity by employing an adaptive readout function. Our empirical results demonstrate the effectiveness of neural readouts on more than 40 datasets spanning different domains and graph characteristics. Moreover, we observe a consistent improvement over standard readouts (i.e., sum, max, and mean) relative to the number of neighborhood aggregation iterations and different convolutional operators.
• Abstract（参考訳）: グラフニューラルネットワークを含む多くの学習タスクにおいて、読み出し関数によるグラフレベルの表現へのノード機能の効果的な集約が不可欠である。 通常、読み出しは単純で非適応な関数であり、結果として生じる仮説空間は置換不変である。 ディープ集合に関する以前の研究は、そのような読み出しには、標準的な近傍の集約スキームを通して習得が難しい複雑なノード埋め込みが必要であることを示している。 そこで本研究では,ニューラルネットワークが与える適応的読み出しの可能性について検討する。 分子が典型的な形で提示されるような親和性予測の結合のような問題においては、仮説空間の置換不変性の制約を緩和し、適応的な可読関数を用いることで親和性のより効率的なモデルを学ぶことができる。 実験の結果、異なる領域とグラフ特性にまたがる40以上のデータセット上での神経読み出しの有効性が実証された。 さらに,近傍集合の反復数や異なる畳み込み演算子と比較して,標準読み出し(和,最大,平均)に対する一貫した改善が観察される。

関連論文リスト

• A rank decomposition for the topological classification of neural representations [0.0]
  この研究では、ニューラルネットワークが連続的なピースワイズアフィンマップと等価であるという事実を活用している。 多様体 $mathcalM$ と部分集合 $A$ の商のホモロジー群を研究し、これらの空間上のいくつかの極小性質を仮定する。 ランダムに狭いネットワークでは、データ多様体の(コ)ホモロジー群が変化する領域が存在することを示す。
  論文  参考訳（メタデータ） (2024-04-30T17:01:20Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Going Deeper into Permutation-Sensitive Graph Neural Networks [6.685139672294716]
  置換群を経由した効率的な置換感応アグリゲーション機構を考案した。 我々は、我々のアプローチが2次元ワイスフェイラー・リーマン(英語版)(2-WL)グラフ同型テストよりも厳密に強力であることを証明した。
  論文  参考訳（メタデータ） (2022-05-28T08:22:10Z)
• Bagged Polynomial Regression and Neural Networks [0.0]
  時系列とデータセットの回帰は、ニューラルネットワークと同じ関数クラスを近似することができる。 textitbagged regression (BPR)は、ニューラルネットワークの魅力的な代替品である。 BPRは、衛星データを用いた作物分類において、ニューラルネットワークと同様に機能する。
  論文  参考訳（メタデータ） (2022-05-17T19:55:56Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Building powerful and equivariant graph neural networks with structural message-passing [74.93169425144755]
  本稿では,2つのアイデアに基づいた,強力かつ同変なメッセージパッシングフレームワークを提案する。 まず、各ノードの周囲の局所的コンテキスト行列を学習するために、特徴に加えてノードの1ホット符号化を伝搬する。 次に,メッセージのパラメトリゼーション手法を提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:15:16Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• PushNet: Efficient and Adaptive Neural Message Passing [1.9121961872220468]
  メッセージパッシングニューラルネットワークは、最近、グラフ上での表現学習に対する最先端のアプローチへと進化した。 既存のメソッドは、複数のラウンドですべてのエッジに沿って同期メッセージパッシングを実行する。 我々は、収束するまで最も関連性の高いエッジに沿ってのみ情報をプッシュする、新しい非同期メッセージパッシングアプローチについて検討する。
  論文  参考訳（メタデータ） (2020-03-04T18:15:30Z)
• Learn to Predict Sets Using Feed-Forward Neural Networks [63.91494644881925]
  本稿では、ディープフィードフォワードニューラルネットワークを用いた設定予測の課題に対処する。 未知の置換と基数を持つ集合を予測するための新しい手法を提案する。 関連視覚問題に対する集合定式化の有効性を実証する。
  論文  参考訳（メタデータ） (2020-01-30T01:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。