論文の概要: Unleashing the Power of Graph Data Augmentation on Covariate
Distribution Shift
- arxiv url: http://arxiv.org/abs/2211.02843v2
- Date: Thu, 21 Dec 2023 06:43:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-22 19:30:24.019447
- Title: Unleashing the Power of Graph Data Augmentation on Covariate
Distribution Shift
- Title(参考訳): 共変量分布シフトによるグラフデータの増大力の解放
- Authors: Yongduo Sui, Qitian Wu, Jiancan Wu, Qing Cui, Longfei Li, Jun Zhou,
Xiang Wang, Xiangnan He
- Abstract要約: 本稿では,AIA(Adversarial Invariant Augmentation)という,シンプルで効率の良いデータ拡張戦略を提案する。
AIAは、拡張プロセス中に元の安定した特徴を同時に保存しながら、新しい環境をエクスポーレーションし、生成することを目的としている。
- 参考スコア(独自算出の注目度): 50.98086766507025
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The issue of distribution shifts is emerging as a critical concern in graph
representation learning. From the perspective of invariant learning and stable
learning, a recently well-established paradigm for out-of-distribution
generalization, stable features of the graph are assumed to causally determine
labels, while environmental features tend to be unstable and can lead to the
two primary types of distribution shifts. The correlation shift is often caused
by the spurious correlation between environmental features and labels that
differs between the training and test data; the covariate shift often stems
from the presence of new environmental features in test data. However, most
strategies, such as invariant learning or graph augmentation, typically
struggle with limited training environments or perturbed stable features, thus
exposing limitations in handling the problem of covariate shift. To address
this challenge, we propose a simple-yet-effective data augmentation strategy,
Adversarial Invariant Augmentation (AIA), to handle the covariate shift on
graphs. Specifically, given the training data, AIA aims to extrapolate and
generate new environments, while concurrently preserving the original stable
features during the augmentation process. Such a design equips the graph
classification model with an enhanced capability to identify stable features in
new environments, thereby effectively tackling the covariate shift in data.
Extensive experiments with in-depth empirical analysis demonstrate the
superiority of our approach. The implementation codes are publicly available at
https://github.com/yongduosui/AIA.
- Abstract(参考訳): 分布シフトの問題は、グラフ表現学習における重要な関心事として浮上している。
不変学習と安定学習の観点から、最近確立された分布外一般化のパラダイムとして、グラフの安定な特徴はラベルを因果的に決定するが、環境的特徴は不安定であり、2種類の分散シフトをもたらす可能性がある。
相関シフトは、トレーニングデータとテストデータとの違いである環境特徴とラベルとの散発的な相関によって引き起こされることが多く、共変量シフトはテストデータに新しい環境特徴が存在することに起因することが多い。
しかしながら、不変学習やグラフ拡張のようなほとんどの戦略は、通常、限られた訓練環境や不安定な特徴に苦しむため、共変シフトの問題を扱う際の制限が露呈する。
この課題に対処するために,グラフ上の共変量シフトを扱うための,簡便かつ効率的なデータ拡張戦略であるadversarial invariant augmentation (aia)を提案する。
具体的には、トレーニングデータに基づき、AIAは、拡張プロセス中に元の安定した特徴を同時に保存しながら、新しい環境をエクスポーレーションし、生成することを目的としている。
このような設計は、グラフ分類モデルに、新しい環境で安定した特徴を識別する能力を強化し、データの共変量シフトに効果的に取り組む。
深部実験分析による広範囲な実験は,我々のアプローチの優位性を示している。
実装コードはhttps://github.com/yongduosui/aiaで公開されている。
関連論文リスト
- Graph Out-of-Distribution Generalization via Causal Intervention [74.77883794668324]
本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。
本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。
本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
論文 参考訳(メタデータ) (2024-02-18T07:49:22Z) - Does Invariant Graph Learning via Environment Augmentation Learn
Invariance? [39.08988313527199]
不変グラフ表現学習は、グラフの分布外一般化のために異なる環境からデータ間の不変性を学習することを目的としている。
我々は,不変グラフ学習のための変分十分性や変分整合性を含む,最小限の仮定のセットを開発する。
我々は,最大不変部分グラフをプロキシ予測に抽出することにより,OODの一般化を成功させるために,基礎となる不変部分グラフを確実に同定することを示す。
論文 参考訳(メタデータ) (2023-10-29T14:57:37Z) - Graph Out-of-Distribution Generalization with Controllable Data
Augmentation [51.17476258673232]
グラフニューラルネットワーク(GNN)は,グラフ特性の分類において異常な性能を示した。
トレーニングとテストデータの選択バイアスが原因で、分散偏差が広まっています。
仮想サンプルの分布偏差を測定するためのOODキャリブレーションを提案する。
論文 参考訳(メタデータ) (2023-08-16T13:10:27Z) - Even Small Correlation and Diversity Shifts Pose Dataset-Bias Issues [19.4921353136871]
実験サンプルがトレーニング中に見つからないパターンを示す場合の多様性シフトと、テストデータが観察された不変性と急激な特徴の異なる相関を示す場合の相関シフトの2種類について検討した。
そこで我々は,両タイプのシフトをデータセットを用いて分析し,制御可能な方法で共存する統合プロトコルを提案する。
論文 参考訳(メタデータ) (2023-05-09T23:40:23Z) - Handling Distribution Shifts on Graphs: An Invariance Perspective [77.14319095965058]
グラフ上のノードレベルの予測にOOD問題を定式化する。
そこで我々は,探索から抽出までのリスク最小化という新たなドメイン不変学習手法を開発した。
理論的に有効なOOD解の保証を示すことによって,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2022-02-05T02:31:01Z) - Stable Prediction on Graphs with Agnostic Distribution Shift [105.12836224149633]
グラフニューラルネットワーク(GNN)は、ランダムにトレーニングとテストデータを分離した様々なグラフタスクに有効であることが示されている。
しかし、実際のアプリケーションでは、トレーニンググラフの分布はテストグラフとは異なるかもしれない。
本稿では,グラフ上での局所的およびグローバル的に安定な学習と予測を可能にする,GNNのための新しい安定な予測フレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-08T02:45:47Z) - Evaluating Prediction-Time Batch Normalization for Robustness under
Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。
予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。
この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文 参考訳(メタデータ) (2020-06-19T05:08:43Z) - I-SPEC: An End-to-End Framework for Learning Transportable, Shift-Stable
Models [6.802401545890963]
開発とデプロイメントの間の環境の変化により、古典的な教師あり学習は、新たなターゲット分布への一般化に失敗するモデルを生成する。
我々は、データを用いて部分祖先グラフ(PAG)を学習することで、この欠点に対処するエンドツーエンドフレームワークであるI-SPECを提案する。
我々は、I-SPECを死亡予測問題に適用し、完全な因果DAGの事前知識を必要とせずに、シフトに頑健なモデルを学ぶことができることを示す。
論文 参考訳(メタデータ) (2020-02-20T18:56:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。