論文の概要: Individual and Structural Graph Information Bottlenecks for Out-of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2306.15902v1
• Date: Wed, 28 Jun 2023 03:52:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-29 15:54:38.199030
• Title: Individual and Structural Graph Information Bottlenecks for Out-of-Distribution Generalization
• Title（参考訳）: 分布外一般化のための個別及び構造グラフ情報基盤
• Authors: Ling Yang, Jiayi Zheng, Heyuan Wang, Zhongyi Liu, Zhilin Huang, Shenda Hong, Wentao Zhang, Bin Cui
• Abstract要約: I-GIB(Personal Graph Information Bottleneck)とS-GIB(Structure Graph Information Bottleneck)を提案する。 I-GIBは、入力グラフとその埋め込み間の相互情報を最小化することにより、無関係な情報を破棄する。 S-GIBは同時に急激な特徴を捨て、高次の視点から不変な特徴を学ぶ。
• 参考スコア（独自算出の注目度）: 21.227825123510293
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Out-of-distribution (OOD) graph generalization are critical for many real-world applications. Existing methods neglect to discard spurious or noisy features of inputs, which are irrelevant to the label. Besides, they mainly conduct instance-level class-invariant graph learning and fail to utilize the structural class relationships between graph instances. In this work, we endeavor to address these issues in a unified framework, dubbed Individual and Structural Graph Information Bottlenecks (IS-GIB). To remove class spurious feature caused by distribution shifts, we propose Individual Graph Information Bottleneck (I-GIB) which discards irrelevant information by minimizing the mutual information between the input graph and its embeddings. To leverage the structural intra- and inter-domain correlations, we propose Structural Graph Information Bottleneck (S-GIB). Specifically for a batch of graphs with multiple domains, S-GIB first computes the pair-wise input-input, embedding-embedding, and label-label correlations. Then it minimizes the mutual information between input graph and embedding pairs while maximizing the mutual information between embedding and label pairs. The critical insight of S-GIB is to simultaneously discard spurious features and learn invariant features from a high-order perspective by maintaining class relationships under multiple distributional shifts. Notably, we unify the proposed I-GIB and S-GIB to form our complementary framework IS-GIB. Extensive experiments conducted on both node- and graph-level tasks consistently demonstrate the superior generalization ability of IS-GIB. The code is available at https://github.com/YangLing0818/GraphOOD.
• Abstract（参考訳）: アウト・オブ・ディストリビューション (OOD) グラフの一般化は多くの実世界のアプリケーションにとって重要である。 既存の方法は、ラベルとは無関係な入力の急激な特徴や騒々しい特徴を捨てることを無視している。 さらに、主にインスタンスレベルのクラス不変グラフ学習を行い、グラフインスタンス間の構造クラス関係を利用できない。 本研究は,IS-GIB(Personal and Structure Graph Information Bottlenecks)と呼ばれる統合フレームワークを用いて,これらの課題に対処する。 分散シフトによるクラス急激な特徴を除去するために,入力グラフと埋め込みの相互情報を最小化することにより,無関係な情報を捨てるPersonal Graph Information Bottleneck (I-GIB)を提案する。 構造内およびドメイン間相関の活用を目的として,構造グラフ情報ボトルネック(S-GIB)を提案する。 具体的には、複数のドメインを持つグラフのバッチに対して、S-GIBはまずペアの入力-入力、埋め込み-埋め込み、ラベル-ラベル相関を計算する。 そして、埋め込みとラベルペア間の相互情報を最大化しながら、入力グラフと埋め込みペア間の相互情報を最小化する。 S-GIBの批判的な洞察は、複数の分布シフトの下でクラス関係を維持することにより、急激な特徴を同時に排除し、高次の視点から不変な特徴を学習することである。 特に、提案したI-GIBとS-GIBを統一して、補完的なフレームワークIS-GIBを形成する。 ノードレベルのタスクとグラフレベルのタスクの両方で実施された大規模な実験は、IS-GIBの優れた一般化能力を一貫して示している。 コードはhttps://github.com/yangling0818/graphoodで入手できる。

関連論文リスト

• TGNN: A Joint Semi-supervised Framework for Graph-level Classification [34.300070497510276]
  我々は、ツイングラフニューラルネットワーク(TGNN)と呼ばれる新しい半教師付きフレームワークを提案する。 グラフ構造情報を補完的なビューから探索するために、TGNNにはメッセージパッシングモジュールとグラフカーネルモジュールがあります。 我々は,TGNNを様々な公開データセットで評価し,高い性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-04-23T15:42:11Z)
• Feature propagation as self-supervision signals on graphs [0.0]
  正規化グラフ情報最大(RGI)は、ノードレベルの自己教師型学習のためのシンプルだが効果的なフレームワークである。 RGIは,その単純さに拘わらず,最先端のパフォーマンスを実現することができることを示す。
  論文  参考訳（メタデータ） (2023-03-15T14:20:06Z)
• You Only Transfer What You Share: Intersection-Induced Graph Transfer Learning for Link Prediction [79.15394378571132]
  従来見過ごされていた現象を調査し、多くの場合、元のグラフに対して密に連結された補グラフを見つけることができる。 より密度の高いグラフは、選択的で有意義な知識を伝達するための自然なブリッジを提供する元のグラフとノードを共有することができる。 この設定をグラフインターセクション誘導トランスファーラーニング(GITL)とみなし,eコマースや学術共同オーサシップ予測の実践的応用に動機づけられた。
  論文  参考訳（メタデータ） (2023-02-27T22:56:06Z)
• Deconfounded Training for Graph Neural Networks [98.06386851685645]
  本稿では, コンバウンディング効果を緩和し, 臨界情報に対するラッチを緩和する新しいDecon Training(DTP)のパラダイムを提案する。 具体的には、注意モジュールを用いて臨界部分グラフと自明部分グラフをアンタングル化する。 これにより、GNNは、ラベルとの関係が複数のディストリビューションで堅牢である、より信頼性の高いサブグラフをキャプチャできる。
  論文  参考訳（メタデータ） (2021-12-30T15:22:35Z)
• Improving Subgraph Recognition with Variational Graph Information Bottleneck [62.69606854404757]
  部分グラフ認識は、グラフ特性に最も有益であるグラフの圧縮された部分構造を発見することを目的としている。 本稿では,サブグラフ内の情報を圧縮するためのノイズ注入手法を提案する。
  論文  参考訳（メタデータ） (2021-12-18T10:51:13Z)
• Multi-Level Graph Contrastive Learning [38.022118893733804]
  本稿では,グラフの空間ビューを対比することで,グラフデータの堅牢な表現を学習するためのマルチレベルグラフコントラスト学習(MLGCL)フレームワークを提案する。 元のグラフは1次近似構造であり、不確実性や誤りを含むが、符号化機能によって生成された$k$NNグラフは高次近接性を保持する。 MLGCLは、7つのデータセット上の既存の最先端グラフ表現学習法と比較して有望な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-07-06T14:24:43Z)
• Graph Information Bottleneck [77.21967740646784]
  グラフニューラルネットワーク(GNN)は、ネットワーク構造とノード機能から情報を融合する表現的な方法を提供する。 GIBは、一般的なInformation Bottleneck (IB) を継承し、与えられたタスクに対する最小限の表現を学習することを目的としている。 提案したモデルが最先端のグラフ防御モデルよりも堅牢であることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:13:00Z)
• Graph Information Bottleneck for Subgraph Recognition [103.37499715761784]
  本稿では,深層グラフ学習における部分グラフ認識問題に対するグラフ情報ブートネック(GIB)の枠組みを提案する。 この枠組みの下では、最大情報でありながら圧縮的な部分グラフ(IB-subgraph)を認識できる。 IB-サブグラフの特性を3つのアプリケーションシナリオで評価する。
  論文  参考訳（メタデータ） (2020-10-12T09:32:20Z)
• Inverse Graph Identification: Can We Identify Node Labels Given Graph Labels? [89.13567439679709]
  グラフ識別(GI)は、グラフ学習において長い間研究されており、特定の応用において不可欠である。 本稿では,逆グラフ識別(Inverse Graph Identification, IGI)と呼ばれる新しい問題を定義する。 本稿では,グラフアテンションネットワーク(GAT)を用いたノードレベルのメッセージパッシング処理を,GIのプロトコルの下でシンプルかつ効果的に行う方法を提案する。
  論文  参考訳（メタデータ） (2020-07-12T12:06:17Z)
• Learning Graph Structure With A Finite-State Automaton Layer [31.028101360041227]
  本研究は,本質的なグラフ構造から抽象的関係を導出する学習の課題について考察する。 この問題を緩和して有限状態オートマトンポリシーを学習することで、これらの関係をエンドツーエンドで学習する方法を示す。 我々は,このレイヤがグリッドワールドグラフのショートカットを見つけ,Pythonプログラム上で単純な静的解析を再現できることを実証した。
  論文  参考訳（メタデータ） (2020-07-09T17:01:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。