論文の概要: E2GNN: Efficient Graph Neural Network Ensembles for Semi-Supervised Classification
- arxiv url: http://arxiv.org/abs/2405.03401v1
- Date: Mon, 6 May 2024 12:11:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-07 13:56:21.471427
- Title: E2GNN: Efficient Graph Neural Network Ensembles for Semi-Supervised Classification
- Title（参考訳）: E2GNN: 半教師付き分類のための効率的なグラフニューラルネットワークアンサンブル
- Authors: Xin Zhang, Daochen Zha, Qiaoyu Tan,
- Abstract要約: 本研究では、グラフニューラルネットワーク(GNN)のアンサンブル学習を、人気のある半教師付き環境下で研究する。
ラベル付きノードとラベルなしノードの両方を活用することで,複数のGNNを学習可能な方法で組み立てる,効率的なアンサンブル学習者を提案する。
さまざまなGNNバックボーンと8つのベンチマークデータセットにまたがる、トランスダクティブとインダクティブ両方の設定に関する包括的な実験は、E2GNNの優位性を実証している。
- 参考スコア（独自算出の注目度）: 30.55931541782854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work studies ensemble learning for graph neural networks (GNNs) under the popular semi-supervised setting. Ensemble learning has shown superiority in improving the accuracy and robustness of traditional machine learning by combining the outputs of multiple weak learners. However, adopting a similar idea to integrate different GNN models is challenging because of two reasons. First, GNN is notorious for its poor inference ability, so naively assembling multiple GNN models would deteriorate the inference efficiency. Second, when GNN models are trained with few labeled nodes, their performance are limited. In this case, the vanilla ensemble approach, e.g., majority vote, may be sub-optimal since most base models, i.e., GNNs, may make the wrong predictions. To this end, in this paper, we propose an efficient ensemble learner--E2GNN to assemble multiple GNNs in a learnable way by leveraging both labeled and unlabeled nodes. Specifically, we first pre-train different GNN models on a given data scenario according to the labeled nodes. Next, instead of directly combing their outputs for label inference, we train a simple multi-layer perceptron--MLP model to mimic their predictions on both labeled and unlabeled nodes. Then the unified MLP model is deployed to infer labels for unlabeled or new nodes. Since the predictions of unlabeled nodes from different GNN models may be incorrect, we develop a reinforced discriminator to effectively filter out those wrongly predicted nodes to boost the performance of MLP. By doing this, we suggest a principled approach to tackle the inference issues of GNN ensembles and maintain the merit of ensemble learning: improved performance. Comprehensive experiments over both transductive and inductive settings, across different GNN backbones and 8 benchmark datasets, demonstrate the superiority of E2GNN.
- Abstract（参考訳）: 本研究では、グラフニューラルネットワーク(GNN)のアンサンブル学習を、人気のある半教師付き環境下で研究する。
アンサンブル学習は、複数の弱い学習者の出力を組み合わせることで、従来の機械学習の精度と堅牢性を改善する上で優位性を示している。
しかし、異なるGNNモデルを統合するために同様の考え方を採用することは、2つの理由から難しい。
まず、GNNは推論能力が悪いことで悪名高いため、複数のGNNモデルを鼻で組み立てることで推論効率が低下する。
第二に、GNNモデルがほとんどラベル付きノードでトレーニングされている場合、その性能は制限される。
この場合、バニラアンサンブルアプローチ(例えば多数決)は、ほとんどのベースモデル、すなわちGNNが間違った予測をするので、準最適である可能性がある。
そこで本稿では,ラベル付きノードとラベルなしノードの両方を活用することで,複数のGNNを学習可能な方法で組み立てる,効率的なアンサンブル学習者を提案する。
具体的には、まず、ラベル付きノードに従って、所定のデータシナリオ上で異なるGNNモデルを事前訓練する。
次に、ラベル付きノードとラベルなしノードの両方で予測を模倣するために、ラベル推論のために出力を直接組み合わせる代わりに、単純な多層パーセプトロン-MLPモデルを訓練する。
次に、統一MLPモデルがデプロイされ、ラベルなしまたは新しいノードのラベルを推測する。
異なるGNNモデルからのラベル付きノードの予測は誤りである可能性があるため、誤予測ノードを効果的にフィルタリングし、MPPの性能を高めるための強化判別器を開発する。
これにより、GNNアンサンブルの推論問題に対処し、アンサンブル学習のメリットを維持するための原則的アプローチを提案する。
さまざまなGNNバックボーンと8つのベンチマークデータセットにまたがる、トランスダクティブとインダクティブ両方の設定に関する包括的な実験は、E2GNNの優位性を実証している。
関連論文リスト
- GNNEvaluator: Evaluating GNN Performance On Unseen Graphs Without Labels [81.93520935479984]
本稿では,ラベル付きおよび観測されたグラフに基づいて学習した特定のGNNモデルの性能を評価することを目的とした,新しい問題であるGNNモデル評価について検討する。
本稿では,(1) DiscGraph セット構築と(2) GNNEvaluator トレーニングと推論を含む2段階の GNN モデル評価フレームワークを提案する。
DiscGraphセットからの効果的なトレーニング監督の下で、GNNEvaluatorは、評価対象であるGNNモデルのノード分類精度を正確に推定することを学ぶ。
論文 参考訳（メタデータ） (2023-10-23T05:51:59Z) - GNN-Ensemble: Towards Random Decision Graph Neural Networks [3.7620848582312405]
グラフニューラルネットワーク(GNN)は、グラフ構造化データに広く応用されている。
GNNは、大量のテストデータに基づいて推論を行うために、限られた量のトレーニングデータから潜伏パターンを学習する必要がある。
本稿では、GNNのアンサンブル学習を一歩前進させ、精度、堅牢性、敵攻撃を改善した。
論文 参考訳（メタデータ） (2023-03-20T18:24:01Z) - Graph Neural Networks are Inherently Good Generalizers: Insights by
Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。
PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文 参考訳（メタデータ） (2022-12-18T08:17:32Z) - Hybrid Graph Neural Networks for Few-Shot Learning [85.93495480949079]
グラフニューラルネットワーク(GNN)は、数発の学習問題に対処するために使用されている。
帰納的設定の下では、既存のGNNベースのメソッドは競争力が少ない。
本稿では2つのGNN(インスタンスGNNとプロトタイプGNN)からなる新しいハイブリッドGNNモデルを提案する。
論文 参考訳（メタデータ） (2021-12-13T10:20:15Z) - Shift-Robust GNNs: Overcoming the Limitations of Localized Graph
Training data [52.771780951404565]
Shift-Robust GNN (SR-GNN) は、バイアス付きトレーニングデータとグラフの真の推論分布の分布差を考慮に入れた設計である。
SR-GNNが他のGNNベースラインを精度良く上回り、バイアス付きトレーニングデータから生じる負の効果の少なくとも40%を排除していることを示す。
論文 参考訳（メタデータ） (2021-08-02T18:00:38Z) - Dual GNNs: Graph Neural Network Learning with Limited Supervision [33.770877823910176]
本稿では,この課題に対処するための新しいDual GNN学習フレームワークを提案する。
2つのモジュールを2つのGNN学習フレームワークに統合することにより、エンドツーエンドで共同学習を行う。
論文 参考訳（メタデータ） (2021-06-29T23:52:25Z) - GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。
生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。
GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
論文 参考訳（メタデータ） (2020-06-27T20:12:33Z) - Towards Deeper Graph Neural Networks with Differentiable Group
Normalization [61.20639338417576]
グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。
オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。
2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
論文 参考訳（メタデータ） (2020-06-12T07:18:02Z) - Self-Enhanced GNN: Improving Graph Neural Networks Using Model Outputs [20.197085398581397]
グラフニューラルネットワーク(GNN)は最近、グラフベースのタスクにおける優れたパフォーマンスのために、多くの注目を集めている。
本稿では,既存のGNNモデルの出力を用いて,入力データの品質を向上させる自己強化型GNN(SEG)を提案する。
SEGは、GCN、GAT、SGCといったよく知られたGNNモデルのさまざまなデータセットのパフォーマンスを一貫して改善する。
論文 参考訳（メタデータ） (2020-02-18T12:27:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。