論文の概要: MARIO: Model Agnostic Recipe for Improving OOD Generalization of Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2307.13055v1
• Date: Mon, 24 Jul 2023 18:05:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-26 19:12:46.806014
• Title: MARIO: Model Agnostic Recipe for Improving OOD Generalization of Graph Contrastive Learning
• Title（参考訳）: MARIO:グラフコントラスト学習におけるOOD一般化のためのモデル非依存レシピ
• Authors: Yun Zhu, Haizhou Shi, Zhenshuo Zhang, Siliang Tang
• Abstract要約: グラフデータを用いた教師なし学習手法におけるアウト・オブ・ディストリビューション(OOD)の一般化問題について検討する。 アンダーラインODの一般化性を改善するためのアンダーラインモデル-アンダーライン非依存アンダーラインレシピを提案する。
• 参考スコア（独自算出の注目度）: 18.744939223003673
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we investigate the problem of out-of-distribution (OOD) generalization for unsupervised learning methods on graph data. This scenario is particularly challenging because graph neural networks (GNNs) have been shown to be sensitive to distributional shifts, even when labels are available. To address this challenge, we propose a \underline{M}odel-\underline{A}gnostic \underline{R}ecipe for \underline{I}mproving \underline{O}OD generalizability of unsupervised graph contrastive learning methods, which we refer to as MARIO. MARIO introduces two principles aimed at developing distributional-shift-robust graph contrastive methods to overcome the limitations of existing frameworks: (i) Information Bottleneck (IB) principle for achieving generalizable representations and (ii) Invariant principle that incorporates adversarial data augmentation to obtain invariant representations. To the best of our knowledge, this is the first work that investigates the OOD generalization problem of graph contrastive learning, with a specific focus on node-level tasks. Through extensive experiments, we demonstrate that our method achieves state-of-the-art performance on the OOD test set, while maintaining comparable performance on the in-distribution test set when compared to existing approaches. The source code for our method can be found at: https://github.com/ZhuYun97/MARIO
• Abstract（参考訳）: 本研究では,教師なし学習法をグラフデータ上で一般化するood(out-of-distribution)の問題について検討する。 グラフニューラルネットワーク(gnn)はラベルが利用可能な場合でも、分布シフトに敏感であることが示されているため、このシナリオは特に難しい。 この課題に対処するために,我々は,unsupervised graph contrastive learning method のununderline{m}odel-\underline{a}gnostic \underline{r}ecipe for \underline{i}mproving \underline{o}od generalizability を提案する。 MARIOは、既存のフレームワークの限界を克服するために、分散シフトロストグラフの対照的な手法を開発するための2つの原則を紹介している。 一 汎用表現を達成するための情報ボトルネック(IB)原則及び (ii)不変表現を得るために逆データ拡張を組み込んだ不変原理。 我々の知る限りでは、これはノードレベルのタスクに特に焦点をあてたグラフ対照的学習のOOD一般化問題を調査する最初の研究である。 実験により,本手法はOODテストセット上での最先端性能を実証し,既存手法と比較した場合の分布内テストセットにおける同等性能を維持する。 私たちのメソッドのソースコードは、https://github.com/ZhuYun97/MARIOで確認できます。

関連論文リスト

• DIVE: Subgraph Disagreement for Graph Out-of-Distribution Generalization [44.291382840373]
  本稿では,グラフ機械学習におけるアウト・オブ・ディストリビューションの一般化の課題に対処する。 従来のグラフ学習アルゴリズムは、この仮定が失敗する現実世界のシナリオで失敗する。 この準最適性能に寄与する主な要因は、ニューラルネットワークの本質的な単純さバイアスである。
  論文  参考訳（メタデータ） (2024-08-08T12:08:55Z)
• Topology-Aware Dynamic Reweighting for Distribution Shifts on Graph [24.44321658238713]
  グラフニューラルネットワーク(GNN)は、ノード分類タスクに広く使用されているが、トレーニングやテストノードが異なるディストリビューションから来ると、一般化に失敗することが多い。 トレーニング中にWasserstein空間の勾配流を通じて標本重量を動的に調整するTopology-Aware Dynamic Reweighting (TAR) フレームワークを導入する。 フレームワークの優位性は、4つのグラフOODデータセットと3つのクラス不均衡ノード分類データセットの標準テストによって実証される。
  論文  参考訳（メタデータ） (2024-06-03T07:32:05Z)
• Graph Out-of-Distribution Generalization via Causal Intervention [69.70137479660113]
  本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。 本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。 本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
  論文  参考訳（メタデータ） (2024-02-18T07:49:22Z)
• Rethinking Graph Masked Autoencoders through Alignment and Uniformity [26.86368034133612]
  グラフ上の自己教師付き学習は、対照的で生成的な方法に分岐することができる。 グラフマスク付きオートエンコーダ(GraphMAE)の最近の出現は、生成法の背後にあるモーメントを回復させる。
  論文  参考訳（メタデータ） (2024-02-11T15:21:08Z)
• Joint Learning of Label and Environment Causal Independence for Graph Out-of-Distribution Generalization [60.4169201192582]
  本稿では,ラベルと環境情報を完全に活用するために,ラベルと環境の因果独立(LECI)を導入することを提案する。 LECIは、合成データセットと実世界のデータセットの両方において、従来の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2023-06-01T19:33:30Z)
• ARIEL: Adversarial Graph Contrastive Learning [51.14695794459399]
  ARIELは、ノードレベルとグラフレベルの両方の分類タスクにおいて、現在のグラフコントラスト学習法よりも一貫して優れている。 ARIELは敵の攻撃に対してより堅牢である。
  論文  参考訳（メタデータ） (2022-08-15T01:24:42Z)
• Invariance Principle Meets Out-of-Distribution Generalization on Graphs [66.04137805277632]
  グラフの複素性質は、OOD一般化の不変原理の採用を妨げている。 OODメソッドでしばしば必要とされるドメインや環境のパーティションは、グラフを得るために取得するのにコストがかかる。 コントラスト戦略を用いて,このプロセスを明確にモデル化する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-11T04:38:39Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
  本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。 AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。 本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-22T07:05:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。