論文の概要: Raising the Bar in Graph OOD Generalization: Invariant Learning Beyond Explicit Environment Modeling

• arxiv url: http://arxiv.org/abs/2502.10706v1
• Date: Sat, 15 Feb 2025 07:40:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:14:53.883076
• Title: Raising the Bar in Graph OOD Generalization: Invariant Learning Beyond Explicit Environment Modeling
• Title（参考訳）: グラフOOD一般化におけるバーのライジング - 明示的な環境モデリングを越えての不変学習
• Authors: Xu Shen, Yixin Liu, Yili Wang, Rui Miao, Yiwei Dai, Shirui Pan, Xin Wang,
• Abstract要約: 実世界のグラフデータは、従来のモデルでは一般化できない、多様で変化する環境を示すことが多い。 マルチプロトタイプ超球形不変学習(MPHIL)と呼ばれる新しい手法を提案する。 MPHILは最先端のパフォーマンスを実現し、様々なドメインからのグラフデータと異なる分散シフトで既存のメソッドよりも大幅に優れています。
• 参考スコア（独自算出の注目度）: 58.15601237755505
• License:
• Abstract: Out-of-distribution (OOD) generalization has emerged as a critical challenge in graph learning, as real-world graph data often exhibit diverse and shifting environments that traditional models fail to generalize across. A promising solution to address this issue is graph invariant learning (GIL), which aims to learn invariant representations by disentangling label-correlated invariant subgraphs from environment-specific subgraphs. However, existing GIL methods face two major challenges: (1) the difficulty of capturing and modeling diverse environments in graph data, and (2) the semantic cliff, where invariant subgraphs from different classes are difficult to distinguish, leading to poor class separability and increased misclassifications. To tackle these challenges, we propose a novel method termed Multi-Prototype Hyperspherical Invariant Learning (MPHIL), which introduces two key innovations: (1) hyperspherical invariant representation extraction, enabling robust and highly discriminative hyperspherical invariant feature extraction, and (2) multi-prototype hyperspherical classification, which employs class prototypes as intermediate variables to eliminate the need for explicit environment modeling in GIL and mitigate the semantic cliff issue. Derived from the theoretical framework of GIL, we introduce two novel objective functions: the invariant prototype matching loss to ensure samples are matched to the correct class prototypes, and the prototype separation loss to increase the distinction between prototypes of different classes in the hyperspherical space. Extensive experiments on 11 OOD generalization benchmark datasets demonstrate that MPHIL achieves state-of-the-art performance, significantly outperforming existing methods across graph data from various domains and with different distribution shifts.
• Abstract（参考訳）: 現実世界のグラフデータは、従来のモデルでは一般化できない多様でシフトする環境をしばしば示しているため、アウト・オブ・ディストリビューション(OOD)の一般化はグラフ学習において重要な課題として浮上している。 この問題に対処するための有望な解決策はグラフ不変学習(GIL)であり、これはラベル関連不変部分グラフを環境固有の部分グラフから切り離すことによって不変表現を学習することを目的としている。 しかし,既存のGIL手法では,(1)グラフデータ中の多様な環境を捕捉・モデル化することの難しさ,(2)異なるクラスからの不変部分グラフの識別が困難であるセマンティックな崖が,クラス分離性の低下と誤分類の増加につながる,という2つの大きな課題に直面している。 これらの課題に対処するため,本研究では,(1)超球形不変表現抽出,頑健かつ高度に識別可能な超球形不変特徴抽出,(2)クラスプロトタイプを中間変数として用いて,GILにおける明示的な環境モデリングの必要性を排除し,セマンティックな崖問題を軽減する,2つの重要なイノベーションを紹介するMPHILという手法を提案する。 GILの理論的枠組みから,サンプルが正しいクラスプロトタイプと一致することを保証する不変なプロトタイプマッチング損失と,超球面空間における異なるクラスのプロトタイプの区別を高めるためのプロトタイプ分離損失という,2つの新しい目的関数を導入する。 11のOOD一般化ベンチマークデータセットに対する大規模な実験により、MPHILは最先端のパフォーマンスを達成し、様々な領域からのグラフデータと異なる分散シフトによる既存手法よりも大幅に優れていることが示された。

関連論文リスト

• diffIRM: A Diffusion-Augmented Invariant Risk Minimization Framework for Spatiotemporal Prediction over Graphs [6.677219861416146]
  実世界のデータは、アウト・オブ・ディストリビューション(OOD)問題に悩まされるため、グラフ(GSTP)に対する時間的予測は困難である。 本研究では,これらの2つの原則を組み合わせた拡散増強型不変リスク最小化(diffIRM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-31T06:45:47Z)
• Preventing Model Collapse in Gaussian Process Latent Variable Models [11.45681373843122]
  本稿では,線形フーリエVMのレンズによるモデル崩壊に対する射影分散の影響を理論的に検討する。 我々は、スペクトル混合(SM)カーネルと微分可能乱数特徴(RFF)カーネル近似を統合することにより、カーネルの柔軟性が不十分なため、モデル崩壊に取り組む。 提案したVMは、アドバイスRFLVMと呼ばれ、さまざまなデータセットで評価され、さまざまな競合モデルよりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-04-02T06:58:41Z)
• Graphs Generalization under Distribution Shifts [11.963958151023732]
  グラフ学習不変領域ジェネレーション(GLIDER)という新しいフレームワークを導入する。 本モデルでは,ノード特徴量と位相構造量の分布シフトを同時に行う場合,ノードレベルのOOD一般化に基づくベースライン手法よりも優れる。
  論文  参考訳（メタデータ） (2024-03-25T00:15:34Z)
• The Implicit Bias of Heterogeneity towards Invariance: A Study of Multi-Environment Matrix Sensing [9.551225697705199]
  本稿では,不均一なデータに対するグラディエント・ディキセント(SGD)の暗黙バイアスについて検討し,その暗黙バイアスがモデル学習を不変解へと導くことを示す。 具体的には、各環境において、信号が(i)全環境間で共有される低ランク不変部分と(ii)環境依存のスプリアス成分とを含む多環境低ランク行列センシング問題について理論的に検討する。 重要な洞察は、明示的な正規化を伴わずに各環境で大きなステップサイズの大バッチSGDを逐次使用するだけで、不均一性に起因する振動は、モデル学習の急激なシグナルを確実に阻止することができることである。
  論文  参考訳（メタデータ） (2024-03-03T07:38:24Z)
• Graph Invariant Learning with Subgraph Co-mixup for Out-Of-Distribution Generalization [51.913685334368104]
  本稿では,変分パターンと変分パターンの混合戦略に基づく新しいグラフ不変学習手法を提案する。 本手法は, 各種分布シフト下での最先端性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-12-18T07:26:56Z)
• Learning Invariant Molecular Representation in Latent Discrete Space [52.13724532622099]
  本稿では,分散シフトに対する不変性とロバスト性を示す分子表現を学習するための新しい枠組みを提案する。 我々のモデルは、様々な分布シフトが存在する場合に、最先端のベースラインに対してより強力な一般化を実現する。
  論文  参考訳（メタデータ） (2023-10-22T04:06:44Z)
• Style-Hallucinated Dual Consistency Learning: A Unified Framework for Visual Domain Generalization [113.03189252044773]
  本稿では,様々な視覚的タスクにおけるドメインシフトを処理するための統合フレームワークであるStyle-HAllucinated Dual consistEncy Learning (SHADE)を提案する。 我々の汎用SHADEは、画像分類、セマンティックセグメンテーション、オブジェクト検出など、様々な視覚認識タスクにおける一般化を著しく向上させることができる。
  論文  参考訳（メタデータ） (2022-12-18T11:42:51Z)
• GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot Learning [55.79997930181418]
  Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。 生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。 本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-05T04:04:37Z)
• GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
  深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。 情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
  論文  参考訳（メタデータ） (2020-09-24T19:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。