論文の概要: Rethinking Dimensional Rationale in Graph Contrastive Learning from Causal Perspective
- arxiv url: http://arxiv.org/abs/2312.10401v3
- Date: Mon, 8 Apr 2024 15:31:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 01:46:19.099857
- Title: Rethinking Dimensional Rationale in Graph Contrastive Learning from Causal Perspective
- Title（参考訳）: 因果的視点から見たグラフコントラスト学習における次元Rationaleの再考
- Authors: Qirui Ji, Jiangmeng Li, Jie Hu, Rui Wang, Changwen Zheng, Fanjiang Xu,
- Abstract要約: グラフコントラスト学習(Graph contrastive learning)は、グラフの様々な摂動から不変情報を捉えるのに優れた一般的な学習パラダイムである。
最近の研究は、グラフから構造的理性を探究することに集中し、不変情報の識別可能性を高める。
本稿では,学習可能な次元理性獲得ネットワークと冗長性低減制約を導入した,次元理性対応グラフコントラスト学習手法を提案する。
- 参考スコア（独自算出の注目度）: 15.162584339143239
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph contrastive learning is a general learning paradigm excelling at capturing invariant information from diverse perturbations in graphs. Recent works focus on exploring the structural rationale from graphs, thereby increasing the discriminability of the invariant information. However, such methods may incur in the mis-learning of graph models towards the interpretability of graphs, and thus the learned noisy and task-agnostic information interferes with the prediction of graphs. To this end, with the purpose of exploring the intrinsic rationale of graphs, we accordingly propose to capture the dimensional rationale from graphs, which has not received sufficient attention in the literature. The conducted exploratory experiments attest to the feasibility of the aforementioned roadmap. To elucidate the innate mechanism behind the performance improvement arising from the dimensional rationale, we rethink the dimensional rationale in graph contrastive learning from a causal perspective and further formalize the causality among the variables in the pre-training stage to build the corresponding structural causal model. On the basis of the understanding of the structural causal model, we propose the dimensional rationale-aware graph contrastive learning approach, which introduces a learnable dimensional rationale acquiring network and a redundancy reduction constraint. The learnable dimensional rationale acquiring network is updated by leveraging a bi-level meta-learning technique, and the redundancy reduction constraint disentangles the redundant features through a decorrelation process during learning. Empirically, compared with state-of-the-art methods, our method can yield significant performance boosts on various benchmarks with respect to discriminability and transferability. The code implementation of our method is available at https://github.com/ByronJi/DRGCL.
- Abstract（参考訳）: グラフコントラスト学習(Graph contrastive learning)は、グラフの様々な摂動から不変情報を捉えるのに優れた一般的な学習パラダイムである。
最近の研究は、グラフから構造的理性を探究することに集中し、不変情報の識別可能性を高める。
しかし、このような手法はグラフの解釈可能性に対するグラフモデルの誤学習を引き起こす可能性があるため、学習ノイズやタスクに依存しない情報はグラフの予測に干渉する。
この目的のために、グラフの本質的理性を探究するために、文献で十分な注目を集めていないグラフから次元的理性を取得することを提案する。
行われた探索実験は、上記のロードマップの実現可能性を示している。
本研究は, 学習前段階における変数間の因果関係を定式化し, 対応する構造因果関係モデルを構築することを目的とした。
構造因果モデルの理解に基づいて,学習可能な次元理性獲得ネットワークと冗長性低減制約を導入した,次元理性対応グラフコントラスト学習手法を提案する。
二段階メタラーニング技術を活用して学習可能な次元理性獲得ネットワークを更新し、冗長化制約を学習中のデコリレーションプロセスを介して冗長化する。
実験的に,本手法は最先端の手法と比較して,識別可能性や転送可能性に関して,様々なベンチマークにおいて顕著な性能向上をもたらすことができる。
私たちのメソッドのコード実装はhttps://github.com/ByronJi/DRGCLで公開されています。
関連論文リスト
- PAC Learnability under Explanation-Preserving Graph Perturbations [15.83659369727204]
グラフニューラルネットワーク(GNN)はグラフ上で動作し、グラフ構造化データの複雑な関係と依存関係を活用する。
グラフ説明は、その分類ラベルに関して入力グラフの「ほぼ」統計量である部分グラフである。
本研究は、GNNの設計と訓練において、そのような摂動不変性を利用する2つの方法を検討する。
論文 参考訳（メタデータ） (2024-02-07T17:23:15Z) - GIF: A General Graph Unlearning Strategy via Influence Function [63.52038638220563]
Graph Influence Function (GIF)は、削除されたデータにおける$epsilon$-massの摂動に応答してパラメータの変化を効率的に正確に推定できる、モデルに依存しない未学習の手法である。
我々は,4つの代表的GNNモデルと3つのベンチマークデータセットについて広範な実験を行い,未学習の有効性,モデルの有用性,未学習効率の観点からGIFの優位性を正当化する。
論文 参考訳（メタデータ） (2023-04-06T03:02:54Z) - Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。
近年の研究では、グラフ表現学習における事前学習の有用性が示されている。
本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
論文 参考訳（メタデータ） (2023-02-06T16:26:29Z) - Robust Causal Graph Representation Learning against Confounding Effects [21.380907101361643]
本稿では,ロバスト因果グラフ表現学習(RCGRL)を提案する。
RCGRLは、無条件のモーメント制約の下でインストゥルメンタル変数を生成するアクティブなアプローチを導入し、グラフ表現学習モデルにより、共同設立者を排除している。
論文 参考訳（メタデータ） (2022-08-18T01:31:25Z) - Learning node embeddings via summary graphs: a brief theoretical
analysis [55.25628709267215]
グラフ表現学習は多くのグラフマイニングアプリケーションにおいて重要な役割を果たすが、大規模なグラフの埋め込みを学習することは依然として問題である。
最近の研究は、グラフの要約(つまり、より小さな要約グラフへの埋め込みを学習し、元のグラフのノード埋め込みを復元することでスケーラビリティを向上させる。
本稿では,導入したカーネル行列に基づく3つの特定の埋め込み学習手法について,詳細な理論的解析を行う。
論文 参考訳（メタデータ） (2022-07-04T04:09:50Z) - Sparse Graph Learning from Spatiotemporal Time Series [16.427698929775023]
本稿では,グラフ上の分布として関係依存を学習するグラフ学習フレームワークを提案する。
提案手法は,エンドツーエンドの予測アーキテクチャのグラフ学習コンポーネントと同様に,スタンドアローンのグラフ識別手法として利用できることを示す。
論文 参考訳（メタデータ） (2022-05-26T17:02:43Z) - Learning Robust Representation through Graph Adversarial Contrastive
Learning [6.332560610460623]
既存の研究では、グラフニューラルネットワーク(GNN)によって生成されたノード表現が、敵の攻撃に対して脆弱であることが示されている。
本稿では,グラフ自己教師型学習に対数拡張を導入することにより,新しいグラフ適応型コントラスト学習フレームワーク(GraphACL)を提案する。
論文 参考訳（メタデータ） (2022-01-31T07:07:51Z) - Bayesian Graph Contrastive Learning [55.36652660268726]
本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。
提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。
いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
論文 参考訳（メタデータ） (2021-12-15T01:45:32Z) - A Graph Data Augmentation Strategy with Entropy Preserving [11.886325179121226]
本稿では,グラフ間の特徴情報を評価するための定量的指標として,新しいグラフエントロピー定義を提案する。
グラフエントロピーの保存を考慮し、摂動機構を用いてトレーニングデータを生成する効果的な方法を提案する。
提案手法はトレーニング過程におけるGCNの堅牢性と一般化能力を大幅に向上させる。
論文 参考訳（メタデータ） (2021-07-13T12:58:32Z) - GraphOpt: Learning Optimization Models of Graph Formation [72.75384705298303]
本稿では,グラフ構造形成の暗黙的モデルを学ぶエンドツーエンドフレームワークを提案し,その基盤となる最適化機構を明らかにする。
学習した目的は、観測されたグラフプロパティの説明として機能し、ドメイン内の異なるグラフを渡すために自分自身を貸すことができる。
GraphOptは、グラフ内のリンク生成をシーケンシャルな意思決定プロセスとして、最大エントロピー逆強化学習アルゴリズムを用いて解決する。
論文 参考訳（メタデータ） (2020-07-07T16:51:39Z) - Graph Representation Learning via Graphical Mutual Information
Maximization [86.32278001019854]
本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。
我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
論文 参考訳（メタデータ） (2020-02-04T08:33:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。