論文の概要: DIVE: Subgraph Disagreement for Graph Out-of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2408.04400v1
• Date: Thu, 8 Aug 2024 12:08:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 15:38:36.188364
• Title: DIVE: Subgraph Disagreement for Graph Out-of-Distribution Generalization
• Title（参考訳）: DIVE: Graph Out-of-Distribution Generalizationのためのサブグラフの分離
• Authors: Xin Sun, Liang Wang, Qiang Liu, Shu Wu, Zilei Wang, Liang Wang,
• Abstract要約: 本稿では,グラフ機械学習におけるアウト・オブ・ディストリビューションの一般化の課題に対処する。 従来のグラフ学習アルゴリズムは、この仮定が失敗する現実世界のシナリオで失敗する。 この準最適性能に寄与する主な要因は、ニューラルネットワークの本質的な単純さバイアスである。
• 参考スコア（独自算出の注目度）: 44.291382840373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses the challenge of out-of-distribution (OOD) generalization in graph machine learning, a field rapidly advancing yet grappling with the discrepancy between source and target data distributions. Traditional graph learning algorithms, based on the assumption of uniform distribution between training and test data, falter in real-world scenarios where this assumption fails, resulting in suboptimal performance. A principal factor contributing to this suboptimal performance is the inherent simplicity bias of neural networks trained through Stochastic Gradient Descent (SGD), which prefer simpler features over more complex yet equally or more predictive ones. This bias leads to a reliance on spurious correlations, adversely affecting OOD performance in various tasks such as image recognition, natural language understanding, and graph classification. Current methodologies, including subgraph-mixup and information bottleneck approaches, have achieved partial success but struggle to overcome simplicity bias, often reinforcing spurious correlations. To tackle this, we propose DIVE, training a collection of models to focus on all label-predictive subgraphs by encouraging the models to foster divergence on the subgraph mask, which circumvents the limitation of a model solely focusing on the subgraph corresponding to simple structural patterns. Specifically, we employs a regularizer to punish overlap in extracted subgraphs across models, thereby encouraging different models to concentrate on distinct structural patterns. Model selection for robust OOD performance is achieved through validation accuracy. Tested across four datasets from GOOD benchmark and one dataset from DrugOOD benchmark, our approach demonstrates significant improvement over existing methods, effectively addressing the simplicity bias and enhancing generalization in graph machine learning.
• Abstract（参考訳）: 本稿では,グラフ機械学習におけるアウト・オブ・ディストリビューション(OOD)の一般化の課題について述べる。 従来のグラフ学習アルゴリズムは、トレーニングデータとテストデータの間の均一な分布の仮定に基づいて、この仮定が失敗する現実のシナリオに干渉し、最適以下のパフォーマンスをもたらす。 この亜最適性能に寄与する主な要因は、SGD(Stochastic Gradient Descent)を通じてトレーニングされたニューラルネットワークの固有の単純さバイアスである。 このバイアスは、画像認識、自然言語理解、グラフ分類といった様々なタスクにおいて、OODのパフォーマンスに悪影響を及ぼす、急激な相関に依存する。 サブグラフ・ミックスアップや情報ボトルネックアプローチといった現在の手法は部分的には成功したが、単純さのバイアスを克服するのに苦労しており、しばしば素早い相関を補強している。 そこで本研究では,DIVEを用いて,単純な構造パターンに対応する部分グラフのみに焦点を絞ったモデルの制限を回避するために,サブグラフマスクのばらつきをモデルに促進させることにより,すべてのラベル予測サブグラフにフォーカスするモデルの集合を訓練する。 具体的には、モデル間で抽出された部分グラフの重複を抑えるために正規化器を使用し、異なるモデルに異なる構造パターンに集中するよう促す。 堅牢なOOD性能のためのモデル選択は、検証精度によって達成される。 GOODベンチマークの4つのデータセットとDragonOODベンチマークの1つのデータセットでテストし、既存の手法よりも大幅に改善され、グラフ機械学習における単純さのバイアスに効果的に対処し、一般化を向上する。

関連論文リスト

• A Survey of Deep Graph Learning under Distribution Shifts: from Graph Out-of-Distribution Generalization to Adaptation [59.14165404728197]
  我々は,分散シフト下での深層グラフ学習について,最新かつ先見的なレビューを行う。 具体的には,グラフ OOD 一般化,トレーニング時グラフ OOD 適応,テスト時グラフ OOD 適応の3つのシナリオについて述べる。 文献の理解を深めるために,提案した分類に基づく既存モデルを体系的に分類した。
  論文  参考訳（メタデータ） (2024-10-25T02:39:56Z)
• Unifying Invariance and Spuriousity for Graph Out-of-Distribution via Probability of Necessity and Sufficiency [19.49531172542614]
  Invariant Substructure (PNSIS) の抽出に必要かつ十分である確率を利用する統一的な枠組みを提案する。 いくつかのベンチマークでグラフOODの最先端技術よりも優れています。
  論文  参考訳（メタデータ） (2024-02-14T13:31:53Z)
• GOODAT: Towards Test-time Graph Out-of-Distribution Detection [103.40396427724667]
  グラフニューラルネットワーク(GNN)は、さまざまな領域にわたるグラフデータのモデリングに広く応用されている。 近年の研究では、特定のモデルのトレーニングや、よく訓練されたGNN上でのデータ修正に重点を置いて、OOD検出のグラフを調査している。 本稿では、GNNアーキテクチャのトレーニングデータと修正から独立して動作する、データ中心、教師なし、プラグアンドプレイのソリューションを提案する。
  論文  参考訳（メタデータ） (2024-01-10T08:37:39Z)
• Addressing the Impact of Localized Training Data in Graph Neural Networks [0.0]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習において顕著な成功を収めた。 本稿では,グラフの局所化部分集合に対するGNNのトレーニングの影響を評価することを目的とする。 本稿では,局所化学習データとグラフ推論との分散不一致を最小化する正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-24T11:04:22Z)
• Globally Interpretable Graph Learning via Distribution Matching [12.885580925389352]
  我々は、まだ十分に研究されていない重要な質問に答えることを目指している。グラフ学習手順のグローバルな解釈を提供するには、どうすればよいのか? 我々は,この問題を,学習過程を支配する高レベルかつ人間の知能なパターンを蒸留することを目的とした,グローバルな解釈可能なグラフ学習として定式化する。 本稿では,解釈に基づいて学習したモデルの忠実度を評価するために,新しいモデル忠実度尺度を提案する。
  論文  参考訳（メタデータ） (2023-06-18T00:50:36Z)
• Sub-Graph Learning for Spatiotemporal Forecasting via Knowledge Distillation [22.434970343698676]
  サブグラフを効果的に学習するためのフレームワークKD-SGLを提案する。 グラフの全体構造と各サブグラフの複数の局所モデルを学ぶために,グローバルモデルを定義する。
  論文  参考訳（メタデータ） (2022-11-17T18:02:55Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。