論文の概要: AKE-GNN: Effective Graph Learning with Adaptive Knowledge Exchange

• arxiv url: http://arxiv.org/abs/2106.05455v3
• Date: Wed, 4 Oct 2023 10:50:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 23:03:10.735114
• Title: AKE-GNN: Effective Graph Learning with Adaptive Knowledge Exchange
• Title（参考訳）: AKE-GNN: 適応的知識交換による効果的なグラフ学習
• Authors: Liang Zeng, Jin Xu, Zijun Yao, Yanqiao Zhu, Jian Li
• Abstract要約: グラフニューラルネットワーク(GNN)はすでに様々なグラフマイニングタスクで広く使われている。 近年の研究では、十分に訓練されたGNNにおける学習重量(チャネル)が非常に冗長であり、GNNの性能が制限されていることが明らかになっている。 本稿では,Aaptive Knowledge Exchange 戦略を実行する新しい GNN 学習フレームワーク AKE-GNN を紹介する。
• 参考スコア（独自算出の注目度）: 14.919474099848816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have already been widely used in various graph mining tasks. However, recent works reveal that the learned weights (channels) in well-trained GNNs are highly redundant, which inevitably limits the performance of GNNs. Instead of removing these redundant channels for efficiency consideration, we aim to reactivate them to enlarge the representation capacity of GNNs for effective graph learning. In this paper, we propose to substitute these redundant channels with other informative channels to achieve this goal. We introduce a novel GNN learning framework named AKE-GNN, which performs the Adaptive Knowledge Exchange strategy among multiple graph views generated by graph augmentations. AKE-GNN first trains multiple GNNs each corresponding to one graph view to obtain informative channels. Then, AKE-GNN iteratively exchanges redundant channels in the weight parameter matrix of one GNN with informative channels of another GNN in a layer-wise manner. Additionally, existing GNNs can be seamlessly incorporated into our framework. AKE-GNN achieves superior performance compared with various baselines across a suite of experiments on node classification, link prediction, and graph classification. In particular, we conduct a series of experiments on 15 public benchmark datasets, 8 popular GNN models, and 3 graph tasks and show that AKE-GNN consistently outperforms existing popular GNN models and even their ensembles. Extensive ablation studies and analyses on knowledge exchange methods validate the effectiveness of AKE-GNN.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)はすでに様々なグラフマイニングタスクで広く使われている。 しかし、近年の研究では、十分に訓練されたGNNにおける学習重量(チャネル)が非常に冗長であり、GNNの性能を必然的に制限していることが明らかになっている。 効率を考慮した冗長チャネルを除去する代わりに,グラフ学習を効果的に行うため,GNNの表現能力の拡大を図っている。 本稿では,この目的を達成するために,冗長チャネルを他の情報チャネルに置き換える手法を提案する。 本稿では、グラフ拡張によって生成された複数のグラフビュー間で適応的知識交換戦略を実行する、AKE-GNNという新しいGNN学習フレームワークを紹介する。 AKE-GNNはまず1つのグラフビューに対応する複数のGNNを訓練し、情報チャネルを得る。 そして、AKE-GNNは、1つのGNNの重みパラメータ行列における冗長チャネルを別のGNNの情報チャネルと階層的に繰り返し交換する。 さらに、既存のGNNを私たちのフレームワークにシームレスに組み込むことができます。 AKE-GNNは、ノード分類、リンク予測、グラフ分類に関する一連の実験において、様々なベースラインと比較して優れた性能を達成する。 特に、15の公開ベンチマークデータセット、8つの人気のあるGNNモデル、3つのグラフタスクについて一連の実験を行い、AKE-GNNが既存のGNNモデルやそれらのアンサンブルよりも一貫して優れていることを示す。 知識交換手法に関する大規模なアブレーション研究と分析は、AKE-GNNの有効性を検証する。

関連論文リスト

• Graph Neural Networks at a Fraction [1.8175282137722093]
  本稿では、四元数空間を利用してノード表現を計算するフレームワークである四元数メッセージパッシングニューラルネットワーク(QMPNN)を紹介する。 GNN や QMPNN のコンテキストにおける適用性を再定義する。
  論文  参考訳（メタデータ） (2025-02-10T03:55:09Z)
• Information Flow in Graph Neural Networks: A Clinical Triage Use Case [49.86931948849343]
  グラフニューラルネットワーク(GNN)は、マルチモーダルグラフとマルチリレーショナルグラフを処理する能力によって、医療やその他の領域で人気を集めている。 GNNにおける埋め込み情報のフローが知識グラフ(KG)におけるリンクの予測に与える影響について検討する。 以上の結果から,ドメイン知識をGNN接続に組み込むことで,KGと同じ接続を使用する場合や,制約のない埋め込み伝搬を行う場合よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-09-12T09:18:12Z)
• GNN-Ensemble: Towards Random Decision Graph Neural Networks [3.7620848582312405]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データに広く応用されている。 GNNは、大量のテストデータに基づいて推論を行うために、限られた量のトレーニングデータから潜伏パターンを学習する必要がある。 本稿では、GNNのアンサンブル学習を一歩前進させ、精度、堅牢性、敵攻撃を改善した。
  論文  参考訳（メタデータ） (2023-03-20T18:24:01Z)
• Distributed Graph Neural Network Training: A Survey [51.77035975191926]
  グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。 GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。 治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
  論文  参考訳（メタデータ） (2022-11-01T01:57:00Z)
• KerGNNs: Interpretable Graph Neural Networks with Graph Kernels [14.421535610157093]
  グラフニューラルネットワーク(GNN)は、下流グラフ関連タスクにおける最先端の手法となっている。 我々は新しいGNNフレームワークKernel Graph Neural Networks(KerGNNs)を提案する。 KerGNNはグラフカーネルをGNNのメッセージパッシングプロセスに統合する。 提案手法は,既存の最先端手法と比較して,競争性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-01-03T06:16:30Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• Identity-aware Graph Neural Networks [63.6952975763946]
  グラフニューラルネットワーク(ID-GNN)を1-WLテストよりも表現力の高いメッセージクラスを開発しています。 ID-GNNは、メッセージパッシング中にノードのIDを誘導的に考慮することにより、既存のGNNアーキテクチャを拡張します。 既存のGNNをID-GNNに変換すると、挑戦ノード、エッジ、グラフプロパティ予測タスクの平均40%の精度が向上することを示す。
  論文  参考訳（メタデータ） (2021-01-25T18:59:01Z)
• GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-27T20:12:33Z)
• XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
  グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。 GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。 我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:52:43Z)
• Self-Enhanced GNN: Improving Graph Neural Networks Using Model Outputs [20.197085398581397]
  グラフニューラルネットワーク(GNN)は最近、グラフベースのタスクにおける優れたパフォーマンスのために、多くの注目を集めている。 本稿では,既存のGNNモデルの出力を用いて,入力データの品質を向上させる自己強化型GNN(SEG)を提案する。 SEGは、GCN、GAT、SGCといったよく知られたGNNモデルのさまざまなデータセットのパフォーマンスを一貫して改善する。
  論文  参考訳（メタデータ） (2020-02-18T12:27:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。