論文の概要: Graph-adaptive Rectified Linear Unit for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2202.06281v1
• Date: Sun, 13 Feb 2022 10:54:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-15 14:29:15.373151
• Title: Graph-adaptive Rectified Linear Unit for Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワーク用グラフ適応整流線形ユニット
• Authors: Yifei Zhang, Hao Zhu, Ziqiao Meng, Piotr Koniusz, Irwin King
• Abstract要約: グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
• 参考スコア（独自算出の注目度）: 64.92221119723048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have achieved remarkable success by extending traditional convolution to learning on non-Euclidean data. The key to the GNNs is adopting the neural message-passing paradigm with two stages: aggregation and update. The current design of GNNs considers the topology information in the aggregation stage. However, in the updating stage, all nodes share the same updating function. The identical updating function treats each node embedding as i.i.d. random variables and thus ignores the implicit relationships between neighborhoods, which limits the capacity of the GNNs. The updating function is usually implemented with a linear transformation followed by a non-linear activation function. To make the updating function topology-aware, we inject the topological information into the non-linear activation function and propose Graph-adaptive Rectified Linear Unit (GReLU), which is a new parametric activation function incorporating the neighborhood information in a novel and efficient way. The parameters of GReLU are obtained from a hyperfunction based on both node features and the corresponding adjacent matrix. To reduce the risk of overfitting and the computational cost, we decompose the hyperfunction as two independent components for nodes and features respectively. We conduct comprehensive experiments to show that our plug-and-play GReLU method is efficient and effective given different GNN backbones and various downstream tasks.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 gnnの鍵となるのは、アグリゲーションと更新という2段階のニューラルメッセージパッシングパラダイムを採用することだ。 GNNの現在の設計は、集約段階におけるトポロジー情報を考える。 しかし、更新段階では、すべてのノードが同じ更新関数を共有する。 同一更新関数は各ノードの埋め込みをランダム変数として扱うため、GNNの容量を制限する近傍間の暗黙の関係を無視する。 更新関数は通常線形変換で実装され、その後非線形アクティベーション関数が続く。 更新関数トポロジを意識して,非線形活性化関数にトポロジ情報を注入し,新しいパラメトリック活性化関数であるグラフ適応整流線形ユニット(GRELU)を提案する。 GReLUのパラメータは、ノード特徴と対応する隣接行列の両方に基づいてハイパーファンクションから得られる。 オーバーフィッティングのリスクと計算コストを低減するため,ノードと特徴の2つの独立したコンポーネントとしてハイパーファンクションを分解する。 我々は,GNNのバックボーンと様々な下流タスクを考慮し,GRELU法が効率的かつ効果的であることを示す包括的実験を行った。

関連論文リスト

• Scalable Graph Compressed Convolutions [68.85227170390864]
  ユークリッド畳み込みのための入力グラフのキャリブレーションに置換を適用する微分可能手法を提案する。 グラフキャリブレーションに基づいて,階層型グラフ表現学習のための圧縮畳み込みネットワーク(CoCN)を提案する。
  論文  参考訳（メタデータ） (2024-07-26T03:14:13Z)
• Conditional Local Feature Encoding for Graph Neural Networks [14.983942698240293]
  グラフニューラルネットワーク(GNN)は,グラフベースのデータから学ぶ上で大きな成功を収めている。 現在のGNNのキーとなるメカニズムはメッセージパッシングであり、ノードの機能は、その近隣から渡される情報に基づいて更新される。 本研究では,局所的特徴符号化(CLFE)を提案する。
  論文  参考訳（メタデータ） (2024-05-08T01:51:19Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Graph Ordering Attention Networks [22.468776559433614]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データに関わる多くの問題でうまく使われている。 近隣ノード間のインタラクションをキャプチャする新しいGNNコンポーネントであるグラフ順序付け注意層(GOAT)を導入する。 GOATレイヤは、複雑な情報をキャプチャするグラフメトリクスのモデリングにおけるパフォーマンスの向上を示す。
  論文  参考訳（メタデータ） (2022-04-11T18:13:19Z)
• Pyramidal Reservoir Graph Neural Network [18.632681846787246]
  本稿では,2種類の層を置換するディープグラフニューラルネットワーク(GNN)モデルを提案する。 グラフプーリングがモデルの計算複雑性をいかに低減するかを示す。 RCベースGNNの設計に対する提案手法は,精度と複雑性のトレードオフを有利かつ原則的に実現している。
  論文  参考訳（メタデータ） (2021-04-10T08:34:09Z)
• Learning Graph Neural Networks with Approximate Gradient Descent [24.49427608361397]
  ラベルがノードまたはグラフに添付されているかどうかに応じて、2種類のグラフニューラルネットワーク(GNN)が調査されます。 gnnトレーニングアルゴリズムの設計と解析のための包括的なフレームワークを開発した。 提案アルゴリズムは,GNNの根底にある真のパラメータに対する線形収束率を保証する。
  論文  参考訳（メタデータ） (2020-12-07T02:54:48Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Permutation-equivariant and Proximity-aware Graph Neural Networks with Stochastic Message Passing [88.30867628592112]
  グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。 置換等価性と近接認識性は、GNNにとって非常に望ましい2つの重要な特性である。 既存のGNNは、主にメッセージパッシング機構に基づいており、同時に2つの特性を保存できないことを示す。 ノードの近さを保つため,既存のGNNをノード表現で拡張する。
  論文  参考訳（メタデータ） (2020-09-05T16:46:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。