論文の概要: Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias
- arxiv url: http://arxiv.org/abs/2309.14907v1
- Date: Tue, 26 Sep 2023 13:09:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-27 13:43:00.512451
- Title: Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias
- Title（参考訳）: 大規模分散グラフを用いたノード表現学習のためのラベルデコンボリューション
- Authors: Zhihao Shi, Jie Wang, Fanghua Lu, Hanzhu Chen, Defu Lian, Zheng Wang,
Jieping Ye, Feng Wu
- Abstract要約: 本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
- 参考スコア（独自算出の注目度）: 75.44877675117749
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Node representation learning on attributed graphs -- whose nodes are
associated with rich attributes (e.g., texts and protein sequences) -- plays a
crucial role in many important downstream tasks. To encode the attributes and
graph structures simultaneously, recent studies integrate pre-trained models
with graph neural networks (GNNs), where pre-trained models serve as node
encoders (NEs) to encode the attributes. As jointly training large NEs and GNNs
on large-scale graphs suffers from severe scalability issues, many methods
propose to train NEs and GNNs separately. Consequently, they do not take
feature convolutions in GNNs into consideration in the training phase of NEs,
leading to a significant learning bias from that by the joint training. To
address this challenge, we propose an efficient label regularization technique,
namely Label Deconvolution (LD), to alleviate the learning bias by a novel and
highly scalable approximation to the inverse mapping of GNNs. The inverse
mapping leads to an objective function that is equivalent to that by the joint
training, while it can effectively incorporate GNNs in the training phase of
NEs against the learning bias. More importantly, we show that LD converges to
the optimal objective function values by thejoint training under mild
assumptions. Experiments demonstrate LD significantly outperforms
state-of-the-art methods on Open Graph Benchmark datasets.
- Abstract（参考訳）: ノード表現学習 - ノードが豊富な属性(テキストやタンパク質配列など)に関連付けられている - は、多くの重要な下流タスクにおいて重要な役割を果たす。
属性とグラフ構造を同時に符号化するために、最近の研究では、事前学習されたモデルとグラフニューラルネットワーク(GNN)を統合する。
大規模グラフ上で大きなNEとGNNを共同で訓練することは、スケーラビリティの問題に悩まされるため、多くの手法がNEとGNNを個別に訓練することを提案する。
その結果、NEsのトレーニングフェーズにおいて、GNNの機能的畳み込みを考慮に入れず、共同トレーニングによる学習バイアスが顕著になる。
この課題に対処するために、GNNの逆写像に対する新しいスケーラブルな近似により学習バイアスを軽減するための効率的なラベル正規化手法であるラベルデコンボリューション(LD)を提案する。
逆マッピングは、共同学習と同等の目的関数をもたらすが、学習バイアスに対して、NEのトレーニングフェーズにGNNを効果的に組み込むことができる。
さらに, 軽度仮定下でのシジョイントトレーニングにより, ldは最適目的関数値に収束することを示す。
実験では、LDはOpen Graph Benchmarkデータセットの最先端メソッドを大幅に上回っている。
関連論文リスト
- DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。
BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。
半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
論文 参考訳（メタデータ） (2024-06-04T07:24:51Z) - Learning to Reweight for Graph Neural Network [63.978102332612906]
グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。
既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。
本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
論文 参考訳（メタデータ） (2023-12-19T12:25:10Z) - Breaking the Entanglement of Homophily and Heterophily in
Semi-supervised Node Classification [25.831508778029097]
統計的観点から,ノードプロファイルとトポロジの関係を定量化するAMUDを提案する。
また、AMUDのための新しい有向グラフ学習パラダイムとしてADPAを提案する。
論文 参考訳（メタデータ） (2023-12-07T07:54:11Z) - GNNEvaluator: Evaluating GNN Performance On Unseen Graphs Without Labels [81.93520935479984]
本稿では,ラベル付きおよび観測されたグラフに基づいて学習した特定のGNNモデルの性能を評価することを目的とした,新しい問題であるGNNモデル評価について検討する。
本稿では,(1) DiscGraph セット構築と(2) GNNEvaluator トレーニングと推論を含む2段階の GNN モデル評価フレームワークを提案する。
DiscGraphセットからの効果的なトレーニング監督の下で、GNNEvaluatorは、評価対象であるGNNモデルのノード分類精度を正確に推定することを学ぶ。
論文 参考訳（メタデータ） (2023-10-23T05:51:59Z) - Graph Neural Networks Provably Benefit from Structural Information: A
Feature Learning Perspective [53.999128831324576]
グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。
本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
論文 参考訳（メタデータ） (2023-06-24T10:21:11Z) - Simple yet Effective Gradient-Free Graph Convolutional Networks [20.448409424929604]
近年,グラフ表現学習において線形化グラフニューラルネットワーク (GNN) が注目されている。
本稿では,過度な平滑化と消失する勾配現象を関連づけ,勾配のないトレーニングフレームワークを構築する。
提案手法は, ノード分類タスクにおいて, 深度や訓練時間を大幅に短縮して, より優れた, より安定した性能を実現する。
論文 参考訳（メタデータ） (2023-02-01T11:00:24Z) - Neighborhood Convolutional Network: A New Paradigm of Graph Neural
Networks for Node Classification [12.062421384484812]
グラフ畳み込みネットワーク(GCN)は、各畳み込み層における近傍の集約と特徴変換を分離する。
本稿では,周辺畳み込みネットワーク(NCN)と呼ばれるGCNの新しいパラダイムを提案する。
このようにして、モデルは、近隣情報を集約するための分離GCNの利点を継承すると同時に、より強力な特徴学習モジュールを開発することができる。
論文 参考訳（メタデータ） (2022-11-15T02:02:51Z) - MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。
我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
論文 参考訳（メタデータ） (2022-08-21T15:12:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。