論文の概要: GSINA: Improving Subgraph Extraction for Graph Invariant Learning via Graph Sinkhorn Attention

• arxiv url: http://arxiv.org/abs/2402.07191v1
• Date: Sun, 11 Feb 2024 12:57:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 17:08:33.401605
• Title: GSINA: Improving Subgraph Extraction for Graph Invariant Learning via Graph Sinkhorn Attention
• Title（参考訳）: gsina: graph sinkhorn attentionによるグラフ不変学習のための部分グラフ抽出の改善
• Authors: Fangyu Ding, Haiyang Wang, Zhixuan Chu, Tianming Li, Zhaoping Hu, Junchi Yan
• Abstract要約: グラフ不変学習(GIL)は,グラフデータとそのラベル間の不変性を発見するための効果的な手法である。 グラフシンクホーン注意機構(GSINA)を提案する。 GSINAは、制御可能な空間性と柔らかさを持つ有意義で微分可能な不変部分グラフを得ることができる。
• 参考スコア（独自算出の注目度）: 52.67633391931959
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph invariant learning (GIL) has been an effective approach to discovering the invariant relationships between graph data and its labels for different graph learning tasks under various distribution shifts. Many recent endeavors of GIL focus on extracting the invariant subgraph from the input graph for prediction as a regularization strategy to improve the generalization performance of graph learning. Despite their success, such methods also have various limitations in obtaining their invariant subgraphs. In this paper, we provide in-depth analyses of the drawbacks of existing works and propose corresponding principles of our invariant subgraph extraction: 1) the sparsity, to filter out the variant features, 2) the softness, for a broader solution space, and 3) the differentiability, for a soundly end-to-end optimization. To meet these principles in one shot, we leverage the Optimal Transport (OT) theory and propose a novel graph attention mechanism called Graph Sinkhorn Attention (GSINA). This novel approach serves as a powerful regularization method for GIL tasks. By GSINA, we are able to obtain meaningful, differentiable invariant subgraphs with controllable sparsity and softness. Moreover, GSINA is a general graph learning framework that could handle GIL tasks of multiple data grain levels. Extensive experiments on both synthetic and real-world datasets validate the superiority of our GSINA, which outperforms the state-of-the-art GIL methods by large margins on both graph-level tasks and node-level tasks. Our code is publicly available at \url{https://github.com/dingfangyu/GSINA}.
• Abstract（参考訳）: グラフ不変学習(gil)は、様々な分布シフトの下で異なるグラフ学習タスクのためのグラフデータとそのラベル間の不変関係を発見するための効果的なアプローチである。 GILの最近の多くの取り組みは、グラフ学習の一般化性能を改善するための正規化戦略として、入力グラフから不変部分グラフを抽出することに焦点を当てている。 これらの手法は成功にもかかわらず、不変部分グラフを得る際にも様々な制限がある。 本稿では,既存の作品の欠点を詳細に分析し,不変部分グラフ抽出の原理を提案する。 1) 異質な特徴をフィルターするスパーシティ 2)柔らかさ,より広い解空間,及び 3) 完全なエンドツーエンド最適化のための差別化性。 これらの原則を1ショットで満たすために、最適輸送(OT)理論を活用し、グラフシンクホーン注意(GSINA)と呼ばれる新しいグラフ注意機構を提案する。 この手法はGILタスクの強力な正規化手法として機能する。 GSINAにより、制御可能な空間性と柔らかさを持つ有意義で微分可能な不変部分グラフを得ることができる。 さらに、gsinaは、複数のデータ粒度のgilタスクを処理できる一般的なグラフ学習フレームワークである。 GSINAは、グラフレベルのタスクとノードレベルのタスクの両方において、最先端のGILメソッドよりも優れています。 我々のコードは \url{https://github.com/dingfangyu/GSINA} で公開されている。

関連論文リスト

• GALA: Graph Diffusion-based Alignment with Jigsaw for Source-free Domain Adaptation [13.317620250521124]
  ソースコードのないドメイン適応は、現実世界で多くのアプリケーションを含むため、重要な機械学習トピックである。 最近のグラフニューラルネットワーク(GNN)アプローチは、ドメインシフトとラベルの不足により、パフォーマンスが著しく低下する可能性がある。 本稿では, ソースフリーなグラフドメイン適応に適した Jigsaw (GALA) を用いたグラフ拡散に基づくアライメント法を提案する。
  論文  参考訳（メタデータ） (2024-10-22T01:32:46Z)
• OpenGraph: Towards Open Graph Foundation Models [20.401374302429627]
  グラフニューラルネットワーク(GNN)は、構造情報を符号化するための有望な技術として登場した。 主な課題は、異なる性質を持つグラフデータを一般化することの難しさである。 この課題に対処するために,OpenGraphと呼ばれる新しいグラフ基盤モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-02T08:05:03Z)
• MGNet: Learning Correspondences via Multiple Graphs [78.0117352211091]
  学習対応は、不均一な対応分布と低い不整合率で設定された初期対応から正しい対応を見つけることを目的としている。 最近の進歩は、通常、グラフニューラルネットワーク(GNN)を使用して単一のタイプのグラフを構築したり、グローバルなグラフに局所グラフをスタックしてタスクを完了させる。 本稿では,複数の補完グラフを効果的に組み合わせるためのMGNetを提案する。
  論文  参考訳（メタデータ） (2024-01-10T07:58:44Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Mind the Label Shift of Augmentation-based Graph OOD Generalization [88.32356432272356]
  LiSAは、トレーニンググラフの textbfLabel-textbfinvariant textbfSubgraphs を利用して textbfAugmented環境を構築する。 LiSAは、一貫した予測関係を持つ多様な拡張環境を生成する。 ノードレベルのOODベンチマークとグラフレベルのOODベンチマークの実験により、LiSAは異なるGNNバックボーンで印象的な一般化性能を達成することが示された。
  論文  参考訳（メタデータ） (2023-03-27T00:08:45Z)
• Graph Contrastive Learning with Implicit Augmentations [36.57536688367965]
  Inlicit Graph Contrastive Learning (iGCL)は、グラフトポロジ構造を再構築することにより、変分グラフオートエンコーダから学習した潜時空間の増大を利用する。 グラフレベルとノードレベルの両方のタスクに対する実験結果から,提案手法が最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-11-07T17:34:07Z)
• GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
  グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。 本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-24T02:58:36Z)
• Source Free Unsupervised Graph Domain Adaptation [60.901775859601685]
  Unsupervised Graph Domain Adaptation (UGDA) はノード分類のラベル付けコストを削減するための実用的価値を示している。 既存のUGDAメソッドの多くは、ソースドメインのラベル付きグラフに大きく依存している。 現実のシナリオでは、ソースグラフはプライバシーの問題のためにアクセスできない。 我々は、Source Free Unsupervised Graph Domain Adaptation (SFUGDA) という新しいシナリオを提案する。
  論文  参考訳（メタデータ） (2021-12-02T03:18:18Z)
• Towards Graph Self-Supervised Learning with Contrastive Adjusted Zooming [48.99614465020678]
  本稿では,グラフコントラスト適応ズームによる自己教師付きグラフ表現学習アルゴリズムを提案する。 このメカニズムにより、G-Zoomはグラフから複数のスケールから自己超越信号を探索して抽出することができる。 我々は,実世界のデータセットに関する広範な実験を行い,提案したモデルが常に最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-20T22:45:53Z)
• Topology-aware Tensor Decomposition for Meta-graph Learning [33.70569156426479]
  不均一グラフから有用な情報を抽出するための一般的なアプローチは、メタグラフを使用することである。 メタグラフの学習におけるテンソルからの新たな視点を提案する。 また、DAGの構造を反映した位相対応テンソル分解(TENSUS)を提案する。
  論文  参考訳（メタデータ） (2021-01-04T16:38:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。