論文の概要: Unleashing the potential of GNNs via Bi-directional Knowledge Transfer

• arxiv url: http://arxiv.org/abs/2310.17132v1
• Date: Thu, 26 Oct 2023 04:11:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 22:23:12.253546
• Title: Unleashing the potential of GNNs via Bi-directional Knowledge Transfer
• Title（参考訳）: 双方向知識伝達によるGNNの可能性
• Authors: Shuai Zheng, Zhizhe Liu, Zhenfeng Zhu, Xingxing Zhang, Jianxin Li, and Yao Zhao
• Abstract要約: Bi-directional Knowledge Transfer (BiKT) は、オリジナルのアーキテクチャを変更することなく、機能変換操作の可能性を解き放つためのプラグイン・アンド・プレイ方式である。 BiKTはオリジナルのGNNよりも0.5%-4%パフォーマンスが向上する。
• 参考スコア（独自算出の注目度）: 58.64807174714959
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Based on the message-passing paradigm, there has been an amount of research proposing diverse and impressive feature propagation mechanisms to improve the performance of GNNs. However, less focus has been put on feature transformation, another major operation of the message-passing framework. In this paper, we first empirically investigate the performance of the feature transformation operation in several typical GNNs. Unexpectedly, we notice that GNNs do not completely free up the power of the inherent feature transformation operation. By this observation, we propose the Bi-directional Knowledge Transfer (BiKT), a plug-and-play approach to unleash the potential of the feature transformation operations without modifying the original architecture. Taking the feature transformation operation as a derived representation learning model that shares parameters with the original GNN, the direct prediction by this model provides a topological-agnostic knowledge feedback that can further instruct the learning of GNN and the feature transformations therein. On this basis, BiKT not only allows us to acquire knowledge from both the GNN and its derived model but promotes each other by injecting the knowledge into the other. In addition, a theoretical analysis is further provided to demonstrate that BiKT improves the generalization bound of the GNNs from the perspective of domain adaption. An extensive group of experiments on up to 7 datasets with 5 typical GNNs demonstrates that BiKT brings up to 0.5% - 4% performance gain over the original GNN, which means a boosted GNN is obtained. Meanwhile, the derived model also shows a powerful performance to compete with or even surpass the original GNN, enabling us to flexibly apply it independently to some other specific downstream tasks.
• Abstract（参考訳）: メッセージパッシングのパラダイムに基づいて,GNNの性能向上のための多種多様な特徴伝搬機構を提案する研究が数多く行われている。 しかし、メッセージパッシングフレームワークのもう一つの主要な操作である機能変換にはあまり焦点が当てられていない。 本稿では,いくつかの典型的なGNNにおける特徴変換操作の性能を実証的に検討する。 予期せぬことに、GNNは固有の特徴変換操作のパワーを完全に解放しない。 そこで本研究では,双方向知識伝達(Bi-directional Knowledge Transfer, BiKT)を提案する。 パラメータを元のGNNと共有する派生表現学習モデルとして特徴変換操作を取り入れ,このモデルによる直接予測は,GNNの学習とそれに伴う特徴変換をさらに指導するトポロジ的知識フィードバックを提供する。 この根拠により、biktは、gnnとその派生モデルの両方から知識を得るだけでなく、相互に知識を注入することで相互に促進できる。 さらに、biktがドメイン適応の観点からgnnの一般化バウンドを改善することを示すために、理論的解析も提供されている。 5つの典型的なGNNを持つ最大7つのデータセットに関する大規模な実験は、BiKTがオリジナルのGNNよりも最大0.5%パフォーマンス向上をもたらすことを実証している。 一方、派生モデルでは、元のGNNと競合したり、越えたりする強力なパフォーマンスも示しており、他の特定の下流タスクに対して柔軟に適用することができます。

関連論文リスト

• Is Graph Convolution Always Beneficial For Every Feature? [14.15740180531667]
  The Topological Feature Informativeness (TFI) is a novel metric to distinguish between GNN-favored and GNN-favored features。 本稿では,GNNとGNNが好む特徴を別々に処理する簡易かつ効果的なグラフ特徴選択法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T09:28:55Z)
• Learning Invariant Representations of Graph Neural Networks via Cluster Generalization [58.68231635082891]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングでますます人気が高まっている。 本稿では,構造変化が発生した場合,GNNの性能が著しく低下することが実験的に確認された。 本稿では,GNNの不変表現を学習するクラスタ情報伝達(CIT)機構を提案する。
  論文  参考訳（メタデータ） (2024-03-06T10:36:56Z)
• AdapterGNN: Parameter-Efficient Fine-Tuning Improves Generalization in GNNs [2.69499085779099]
  本稿では,グラフニューラルネットワーク(GNN)におけるPEFT手法の包括的比較について述べる。 本稿では,GNN向けに設計された新しいPEFT手法であるAdapterGNNを提案する。 本稿では,AdapterGNNが他のPEFT法よりも高い性能を実現していることを示す。
  論文  参考訳（メタデータ） (2023-04-19T12:00:15Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• ReFactorGNNs: Revisiting Factorisation-based Models from a Message-Passing Perspective [42.845783579293]
  本稿では、ReFactorGNNを提案することにより、因子モデル(FM)とグラフニューラルネットワーク(GNN)のギャップを埋める。 我々は、勾配降下手順をメッセージパッシング操作として再構成することにより、FMをGNNとしてキャストする方法を示す。 我々のReFactorGNNは、FMに匹敵するトランスダクティブ性能と最先端のインダクティブ性能を実現し、パラメータの桁数を桁違いに減らした。
  論文  参考訳（メタデータ） (2022-07-20T15:39:30Z)
• Orthogonal Graph Neural Networks [53.466187667936026]
  グラフニューラルネットワーク(GNN)は,ノード表現の学習において優れていたため,大きな注目を集めている。 より畳み込み層を積み重ねることで、GNNのパフォーマンスが大幅に低下する。 本稿では,モデルトレーニングの安定化とモデル一般化性能の向上のために,既存のGNNバックボーンを拡張可能なOrtho-GConvを提案する。
  論文  参考訳（メタデータ） (2021-09-23T12:39:01Z)
• Interpreting and Unifying Graph Neural Networks with An Optimization Framework [47.44773358082203]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データ学習に大きな注目を集めている。 本稿では,異なる伝搬機構と統一最適化問題との驚くほどの関連性を確立する。 提案する統一最適化フレームワークは,いくつかの代表的GNN間の共通性を要約し,柔軟に新しいGNNを設計する新たな機会を開く。
  論文  参考訳（メタデータ） (2021-01-28T08:06:02Z)
• The Surprising Power of Graph Neural Networks with Random Node Initialization [54.4101931234922]
  グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。 標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。 本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。 我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
  論文  参考訳（メタデータ） (2020-10-02T19:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。