論文の概要: Deconfounded Training for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2112.15089v1
• Date: Thu, 30 Dec 2021 15:22:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-03 13:54:29.663577
• Title: Deconfounded Training for Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークの非畳み込み学習
• Authors: Yongduo Sui, Xiang Wang, Jiancan Wu, Xiangnan He, Tat-Seng Chua
• Abstract要約: 本稿では, コンバウンディング効果を緩和し, 臨界情報に対するラッチを緩和する新しいDecon Training(DTP)のパラダイムを提案する。 具体的には、注意モジュールを用いて臨界部分グラフと自明部分グラフをアンタングル化する。 これにより、GNNは、ラベルとの関係が複数のディストリビューションで堅牢である、より信頼性の高いサブグラフをキャプチャできる。
• 参考スコア（独自算出の注目度）: 98.06386851685645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning powerful representations is one central theme of graph neural networks (GNNs). It requires refining the critical information from the input graph, instead of the trivial patterns, to enrich the representations. Towards this end, graph attention and pooling methods prevail. They mostly follow the paradigm of "learning to attend". It maximizes the mutual information between the attended subgraph and the ground-truth label. However, this training paradigm is prone to capture the spurious correlations between the trivial subgraph and the label. Such spurious correlations are beneficial to in-distribution (ID) test evaluations, but cause poor generalization in the out-of-distribution (OOD) test data. In this work, we revisit the GNN modeling from the causal perspective. On the top of our causal assumption, the trivial information serves as a confounder between the critical information and the label, which opens a backdoor path between them and makes them spuriously correlated. Hence, we present a new paradigm of deconfounded training (DTP) that better mitigates the confounding effect and latches on the critical information, to enhance the representation and generalization ability. Specifically, we adopt the attention modules to disentangle the critical subgraph and trivial subgraph. Then we make each critical subgraph fairly interact with diverse trivial subgraphs to achieve a stable prediction. It allows GNNs to capture a more reliable subgraph whose relation with the label is robust across different distributions. We conduct extensive experiments on synthetic and real-world datasets to demonstrate the effectiveness.
• Abstract（参考訳）: 強力な表現の学習は、グラフニューラルネットワーク(gnns)の中心的なテーマである。 表現を豊かにするには、自明なパターンの代わりに入力グラフから臨界情報を洗練する必要がある。 この目的に向けて、グラフの注意とプーリングメソッドが優勢だ。 主に"参加する学習"というパラダイムに従っています。 出席したサブグラフと接地真実ラベルの相互情報を最大化する。 しかし、このトレーニングパラダイムは、自明な部分グラフとラベルの間の散発的な相関を捉えやすい。 このようなスプリアス相関は、分布内(id)テスト評価に有益であるが、分布外(ood)テストデータの一般化が貧弱である。 本研究では,gnnモデリングを因果的視点から再検討する。 因果的な仮定の上では、その自明な情報は、重要な情報とラベルの共起体として機能し、それらの間のバックドアパスを開き、それらを刺激的に関連付ける。 そこで本研究では,重大情報に対する統合効果の軽減とラッチの緩和,表現と一般化能力の向上を目的とした,dtp(deconfounded training)の新たなパラダイムを提案する。 具体的には、注意モジュールを用いて臨界部分グラフと自明部分グラフを切り離す。 そして、各臨界部分グラフを様々な自明な部分グラフと適切に相互作用させ、安定な予測を達成する。 これにより、GNNは、ラベルとの関係が複数のディストリビューションで堅牢である、より信頼性の高いサブグラフをキャプチャできる。 合成および実世界のデータセットに関する広範な実験を行い、その効果を実証する。

関連論文リスト

• Graph Partial Label Learning with Potential Cause Discovering [24.659793052786814]
  グラフネットワーク(GNN)は、グラフ表現学習がもたらす課題に対処する可能性について、広く注目を集めている。 グラフ固有の複雑さと相互接続性のため、GNNをトレーニングするためのグラフデータを正確にアノテートすることは極めて困難である。
  論文  参考訳（メタデータ） (2024-03-18T03:56:34Z)
• Graph Out-of-Distribution Generalization via Causal Intervention [69.70137479660113]
  本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。 本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。 本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
  論文  参考訳（メタデータ） (2024-02-18T07:49:22Z)
• Rethinking Explaining Graph Neural Networks via Non-parametric Subgraph Matching [68.35685422301613]
  そこで我々はMatchExplainerと呼ばれる新しい非パラメトリックな部分グラフマッチングフレームワークを提案し、説明的部分グラフを探索する。 ターゲットグラフと他のインスタンスを結合し、ノードに対応する距離を最小化することで最も重要な結合部分構造を識別する。 合成および実世界のデータセットの実験は、最先端のパラメトリックベースラインをかなりのマージンで上回り、MatchExplainerの有効性を示す。
  論文  参考訳（メタデータ） (2023-01-07T05:14:45Z)
• Debiasing Graph Neural Networks via Learning Disentangled Causal Substructure [46.86463923605841]
  本稿では、重度バイアスのあるトレーニンググラフについて、グラフ分類調査を行う。 我々は、GNNが常に決定を下すために急激な相関関係を探索する傾向があることに気付きました。 本稿では、因果部分構造とバイアス部分構造を学習するための一般的な非絡み合いGNNフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-28T13:55:52Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• OOD-GNN: Out-of-Distribution Generalized Graph Neural Network [73.67049248445277]
  グラフニューラルネットワーク(GNN)は、グラフデータのテストとトレーニングを同一の分布から行うことで、優れたパフォーマンスを実現している。 既存のGNNでは、テストとグラフデータのトレーニングの間に分散シフトが存在する場合、その性能が著しく低下する。 本稿では,学習グラフと異なる分布を持つ未確認試験グラフに対して,満足な性能を実現するために,アウト・オブ・ディストリビューション一般化グラフニューラルネットワーク(OOD-GNN)を提案する。
  論文  参考訳（メタデータ） (2021-12-07T16:29:10Z)
• Generalizing Graph Neural Networks on Out-Of-Distribution Graphs [51.33152272781324]
  トレーニンググラフとテストグラフの分散シフトを考慮せずにグラフニューラルネットワーク(GNN)を提案する。 このような環境では、GNNは、たとえ素早い相関であるとしても、予測のためのトレーニングセットに存在する微妙な統計的相関を利用する傾向がある。 本稿では,スプリアス相関の影響を排除するため,StableGNNと呼ばれる一般的な因果表現フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-20T18:57:18Z)
• Sub-graph Contrast for Scalable Self-Supervised Graph Representation Learning [21.0019144298605]
  既存のグラフニューラルネットワークは、計算量やメモリコストが限られているため、完全なグラフデータで供給される。 textscSubg-Conは、中央ノードとそのサンプルサブグラフ間の強い相関を利用して、地域構造情報をキャプチャすることで提案される。 既存のグラフ表現学習アプローチと比較して、textscSubg-Conは、より弱い監視要件、モデル学習のスケーラビリティ、並列化において、顕著なパフォーマンス上のアドバンテージを持っています。
  論文  参考訳（メタデータ） (2020-09-22T01:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。