論文の概要: Dual-perspective Cross Contrastive Learning in Graph Transformers
- arxiv url: http://arxiv.org/abs/2406.00403v1
- Date: Sat, 1 Jun 2024 11:11:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 07:15:00.920604
- Title: Dual-perspective Cross Contrastive Learning in Graph Transformers
- Title（参考訳）: グラフ変換器におけるデュアルパースペクティブなクロスコントラスト学習
- Authors: Zelin Yao, Chuang Liu, Xueqi Ma, Mukun Chen, Jia Wu, Xiantao Cai, Bo Du, Wenbin Hu,
- Abstract要約: グラフコントラスト学習(GCL)は、グラフ表現を傾けるための一般的な手法である。
本稿では,DC-GCL(Double-perspective Cross Graph contrastive Learning)というフレームワークを提案する。
DC-GCLには、正のサンプルの多様性と信頼性を高めるために設計された3つの修正が含まれている。
- 参考スコア（独自算出の注目度）: 33.18813968554711
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph contrastive learning (GCL) is a popular method for leaning graph representations by maximizing the consistency of features across augmented views. Traditional GCL methods utilize single-perspective i.e. data or model-perspective) augmentation to generate positive samples, restraining the diversity of positive samples. In addition, these positive samples may be unreliable due to uncontrollable augmentation strategies that potentially alter the semantic information. To address these challenges, this paper proposed a innovative framework termed dual-perspective cross graph contrastive learning (DC-GCL), which incorporates three modifications designed to enhance positive sample diversity and reliability: 1) We propose dual-perspective augmentation strategy that provide the model with more diverse training data, enabling the model effective learning of feature consistency across different views. 2) From the data perspective, we slightly perturb the original graphs using controllable data augmentation, effectively preserving their semantic information. 3) From the model perspective, we enhance the encoder by utilizing more powerful graph transformers instead of graph neural networks. Based on the model's architecture, we propose three pruning-based strategies to slightly perturb the encoder, providing more reliable positive samples. These modifications collectively form the DC-GCL's foundation and provide more diverse and reliable training inputs, offering significant improvements over traditional GCL methods. Extensive experiments on various benchmarks demonstrate that DC-GCL consistently outperforms different baselines on various datasets and tasks.
- Abstract（参考訳）: グラフコントラスト学習(GCL)は、拡張ビューにおける特徴の一貫性を最大化することで、グラフ表現を傾ける一般的な方法である。
従来のGCL法では、データ、すなわちモデルパースペクティブ(モデルパースペクティブ)の増大を利用して正のサンプルを生成し、正のサンプルの多様性を抑える。
さらに、これらの正のサンプルは、意味情報を変更する可能性のある制御不能な拡張戦略のために信頼できないかもしれない。
これらの課題に対処するため,本研究では,正のサンプルの多様性と信頼性を高めるために設計された3つの修正を組み込んだ,二重パースペクティブ・クロスグラフコントラクティブ・ラーニング(DC-GCL)という,革新的なフレームワークを提案する。
1) より多様なトレーニングデータをモデルに提供し, 異なる視点における機能一貫性を効果的に学習することのできる, 二重パースペクティブ拡張戦略を提案する。
2)データの観点からは、制御可能なデータ拡張を用いて元のグラフをわずかに摂動させ、意味情報を効果的に保存する。
3)モデルの観点からは,グラフニューラルネットワークの代わりに,より強力なグラフトランスフォーマーを利用することでエンコーダを強化する。
モデルのアーキテクチャに基づいて,エンコーダをわずかに摂動させる3つのプルーニングベースの戦略を提案し,より信頼性の高い正のサンプルを提供する。
これらの変更はDC-GCLの基礎を形成し、より多様性があり信頼性の高いトレーニングインプットを提供し、従来のGCLメソッドよりも大幅に改善された。
様々なベンチマーク実験により、DC-GCLは様々なデータセットやタスクのベースラインを一貫して上回っていることが示された。
関連論文リスト
- Dual Adversarial Perturbators Generate rich Views for Recommendation [16.284670207195056]
AvoGCLは、グラフ構造に逆行訓練を適用し、摂動を埋め込むことでカリキュラム学習をエミュレートする。
3つの実世界のデータセットの実験では、AvoGCLが最先端の競合より大幅に優れていることが示されている。
論文 参考訳（メタデータ） (2024-08-26T15:19:35Z) - S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である
これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。
本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-22T11:40:49Z) - Adversarial Curriculum Graph Contrastive Learning with Pair-wise
Augmentation [35.875976206333185]
ACGCLは、グラフレベルの正と負のサンプルを制御可能な類似性を持たせるために、ペアワイズ増強の利点を生かしている。
ACGCLフレームワーク内では,新たな逆行カリキュラム学習手法が考案された。
ACGCLの総合評価は、よく知られた6つのベンチマークデータセットに関する広範な実験を通じて行われる。
論文 参考訳（メタデータ） (2024-02-16T06:17:50Z) - Unveiling Backbone Effects in CLIP: Exploring Representational Synergies
and Variances [49.631908848868505]
コントラスト言語-画像事前学習(CLIP)は画像表現学習において顕著な手法である。
各種ニューラルアーキテクチャにおけるCLIP性能の違いについて検討する。
我々は、複数のバックボーンからの予測を組み合わせるためのシンプルで効果的なアプローチを提案し、最大6.34%のパフォーマンス向上につながった。
論文 参考訳（メタデータ） (2023-12-22T03:01:41Z) - Adversarial Learning Data Augmentation for Graph Contrastive Learning in
Recommendation [56.10351068286499]
グラフコントラスト学習のための学習可能なデータ拡張法(LDA-GCL)を提案する。
提案手法は,InfoMin と InfoMax の原則に従うデータ強化学習とグラフコントラスト学習を含む。
本手法は,データ拡張とユーザやアイテムの効果的な表現を学習するために,対向損失関数を最適化する。
論文 参考訳（メタデータ） (2023-02-05T06:55:51Z) - MA-GCL: Model Augmentation Tricks for Graph Contrastive Learning [41.963242524220654]
グラフコントラスト学習(GCL)のための3つの簡易実装モデル拡張手法を提案する。
具体的には,GCLに対して,非対称,ランダム,シャッフルという,実装が容易なモデル拡張トリックを3つ提示する。
実験の結果,MA-GCLはノード分類ベンチマークで最先端の性能を達成できることがわかった。
論文 参考訳（メタデータ） (2022-12-14T05:04:10Z) - GraphLearner: Graph Node Clustering with Fully Learnable Augmentation [76.63963385662426]
Contrastive Deep Graph Clustering (CDGC)は、異なるクラスタにノードをグループ化するために、コントラスト学習のパワーを活用する。
我々は、GraphLearnerと呼ばれる、完全学習可能な拡張を備えたグラフノードクラスタリングを提案する。
学習可能な拡張器を導入し、CDGCのための高品質でタスク固有の拡張サンプルを生成する。
論文 参考訳（メタデータ） (2022-12-07T10:19:39Z) - Adversarial Cross-View Disentangled Graph Contrastive Learning [30.97720522293301]
グラフデータから最小かつ十分な表現を学習するために,情報ボトルネックの原則に従う ACDGCL を導入する。
提案したモデルが,複数のベンチマークデータセット上でのグラフ分類タスクの最先端性より優れていることを実証的に実証した。
論文 参考訳（メタデータ） (2022-09-16T03:48:39Z) - GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。
本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2022-03-24T02:58:36Z) - Diversified Multiscale Graph Learning with Graph Self-Correction [55.43696999424127]
2つのコア成分を組み込んだ多次元グラフ学習モデルを提案します。
情報埋め込みグラフを生成するグラフ自己補正(GSC)機構、および入力グラフの包括的な特性評価を達成するために多様性ブースト正規化(DBR)。
一般的なグラフ分類ベンチマークの実験は、提案されたGSCメカニズムが最先端のグラフプーリング方法よりも大幅に改善されることを示しています。
論文 参考訳（メタデータ） (2021-03-17T16:22:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。