論文の概要: Graph Neural Networks Inspired by Classical Iterative Algorithms
- arxiv url: http://arxiv.org/abs/2103.06064v1
- Date: Wed, 10 Mar 2021 14:08:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-11 14:49:15.503804
- Title: Graph Neural Networks Inspired by Classical Iterative Algorithms
- Title（参考訳）: 古典的反復アルゴリズムに触発されたグラフニューラルネットワーク
- Authors: Yongyi Yang, Tang Liu, Yangkun Wang, Jinjing Zhou, Quan Gan, Zhewei
Wei, Zheng Zhang, Zengfeng Huang, David Wipf
- Abstract要約: 我々は、2つの古典的反復アルゴリズムの更新ルールを模倣し、統合するために設計された新しいGNNレイヤーのファミリーを考える。
新しい注意機構は、基礎となるエンドツーエンドエネルギー関数に明示的に固定され、エッジの不確かさに関する安定性に寄与する。
- 参考スコア（独自算出の注目度）: 28.528150667063876
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the recent success of graph neural networks (GNN), common
architectures often exhibit significant limitations, including sensitivity to
oversmoothing, long-range dependencies, and spurious edges, e.g., as can occur
as a result of graph heterophily or adversarial attacks. To at least partially
address these issues within a simple transparent framework, we consider a new
family of GNN layers designed to mimic and integrate the update rules of two
classical iterative algorithms, namely, proximal gradient descent and iterative
reweighted least squares (IRLS). The former defines an extensible base GNN
architecture that is immune to oversmoothing while nonetheless capturing
long-range dependencies by allowing arbitrary propagation steps. In contrast,
the latter produces a novel attention mechanism that is explicitly anchored to
an underlying end-toend energy function, contributing stability with respect to
edge uncertainty. When combined we obtain an extremely simple yet robust model
that we evaluate across disparate scenarios including standardized benchmarks,
adversarially-perturbated graphs, graphs with heterophily, and graphs involving
long-range dependencies. In doing so, we compare against SOTA GNN approaches
that have been explicitly designed for the respective task, achieving
competitive or superior node classification accuracy.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)の最近の成功にもかかわらず、一般的なアーキテクチャはしばしば、例えばグラフの異性愛または敵対的な攻撃の結果として生じるような、過密、長距離依存性、およびスプリアスエッジに対する感受性を含む重要な制限を示す。
これらの問題を少なくとも部分的には単純な透過的な枠組みで解決するため、我々は2つの古典的反復アルゴリズム、すなわち近勾配降下法と反復再重み付き最小二乗法(IRLS)の更新規則を模倣し統合するために設計された新しいGNN層を考える。
前者は拡張可能なベースGNNアーキテクチャを定義し、任意の伝搬ステップを許可することによって長距離依存性をキャプチャしながら、過スムージングに免疫的である。
対照的に、後者は根本的なエンドツーエンドのエネルギー関数に明示的に固定される新しい注意メカニズムを生成し、エッジの不確実性に関して安定性に寄与する。
組み合わせると、標準化されたベンチマーク、逆摂動グラフ、ヘテロフィリーグラフ、長距離依存を含むグラフなど、さまざまなシナリオで評価される非常に単純な頑健なモデルが得られる。
そこで我々は,各タスクに対して明示的に設計されているSOTA GNN手法との比較を行い,ノード分類の精度を向上する。
関連論文リスト
- Graph as a feature: improving node classification with non-neural graph-aware logistic regression [2.952177779219163]
Graph-aware Logistic Regression (GLR) はノード分類タスク用に設計された非神経モデルである。
GNNにアクセスできる情報のごく一部しか使わない従来のグラフアルゴリズムとは異なり、提案モデルではノードの特徴とエンティティ間の関係を同時に活用する。
論文 参考訳（メタデータ） (2024-11-19T08:32:14Z) - MuseGNN: Interpretable and Convergent Graph Neural Network Layers at
Scale [15.93424606182961]
本稿では, ある設定における収束保証によって導かれる, サンプリングベースエネルギー関数と拡張性のあるGNN層を反復的に削減する手法を提案する。
また、これらの設計に基づいて完全なGNNアーキテクチャをインスタンス化し、1TBを超える最大公用ノード分類ベンチマークに適用した場合の競合精度とスケーラビリティを実現する。
論文 参考訳（メタデータ） (2023-10-19T04:30:14Z) - Re-Think and Re-Design Graph Neural Networks in Spaces of Continuous
Graph Diffusion Functionals [7.6435511285856865]
グラフニューラルネットワーク(GNN)は、ソーシャルネットワークや生体システムのようなドメインで広く使われている。
GNNのローカリティ仮定は、グラフ内の長距離依存関係とグローバルパターンをキャプチャする能力を損なう。
本稿では,ブラヒクロニスト問題から着想を得た変分解析に基づく新しい帰納バイアスを提案する。
論文 参考訳（メタデータ） (2023-07-01T04:44:43Z) - MGNNI: Multiscale Graph Neural Networks with Implicit Layers [53.75421430520501]
暗黙グラフニューラルネットワーク(GNN)は、基礎となるグラフの長距離依存性をキャプチャするために提案されている。
暗黙的GNNの2つの弱点は、長距離依存を捉えるための限られた有効範囲による制約付き表現性と、複数の解像度でグラフ上のマルチスケール情報をキャプチャする能力の欠如である。
グラフ上のマルチスケール構造をモデル化できる暗黙の層(MGNNI)を持つマルチスケールグラフニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2022-10-15T18:18:55Z) - Relation Embedding based Graph Neural Networks for Handling
Heterogeneous Graph [58.99478502486377]
我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。
具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
論文 参考訳（メタデータ） (2022-09-23T05:24:18Z) - EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。
この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。
EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2022-02-22T08:16:58Z) - VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using
Vector Quantization [70.8567058758375]
VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。
我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
論文 参考訳（メタデータ） (2021-10-27T11:48:50Z) - Hierarchical graph neural nets can capture long-range interactions [8.067880298298185]
与えられたグラフの多重解像度表現を利用する階層的メッセージパッシングモデルについて検討する。
これにより、ローカル情報を失うことなく、大きな受容領域にまたがる特徴の学習が容易になる。
階層グラフネット(HGNet)を導入し、任意の2つの接続ノードに対して、最大対数長のメッセージパスパスが存在することを保証します。
論文 参考訳（メタデータ） (2021-07-15T16:24:22Z) - Implicit Graph Neural Networks [46.0589136729616]
Indicit Graph Neural Networks (IGNN) と呼ばれるグラフ学習フレームワークを提案する。
IGNNは一貫して長距離依存を捉え、最先端のGNNモデルより優れている。
論文 参考訳（メタデータ） (2020-09-14T06:04:55Z) - Gated Graph Recurrent Neural Networks [176.3960927323358]
グラフ処理の一般的な学習フレームワークとしてグラフリカレントニューラルネットワーク(GRNN)を導入する。
勾配の消失問題に対処するため,時間,ノード,エッジゲートの3つの異なるゲーティング機構でGRNNを前進させた。
数値的な結果は、GRNNがGNNやRNNよりも優れており、グラフプロセスの時間構造とグラフ構造の両方を考慮することが重要であることを示している。
論文 参考訳（メタデータ） (2020-02-03T22:35:14Z) - EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。
EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。
これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
論文 参考訳（メタデータ） (2020-01-21T15:51:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。