Fugu-MT 論文翻訳(概要): Graph Self-Contrast Representation Learning

論文の概要: Graph Self-Contrast Representation Learning

arxiv url: http://arxiv.org/abs/2309.02304v1
Date: Tue, 5 Sep 2023 15:13:48 GMT
ステータス: 処理完了
システム内更新日: 2023-09-06 14:02:03.725392
Title: Graph Self-Contrast Representation Learning
Title（参考訳）: グラフ自己コントラスト表現学習
Authors: Minjie Chen, Yao Cheng, Ye Wang, Xiang Li, Ming Gao
Abstract要約: 本稿では,新しいグラフ自己コントラストフレームワークGraphSCを提案する。 1つの正のサンプルと1つの負のサンプルしか使用せず、目的として三重項損失を選択する。我々は,他の19種類の最先端手法に対して,GraphSCの性能を評価するための広範囲な実験を行った。
参考スコア（独自算出の注目度）: 14.519482062111507
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graph contrastive learning (GCL) has recently emerged as a promising approach for graph representation learning. Some existing methods adopt the 1-vs-K scheme to construct one positive and K negative samples for each graph, but it is difficult to set K. For those methods that do not use negative samples, it is often necessary to add additional strategies to avoid model collapse, which could only alleviate the problem to some extent. All these drawbacks will undoubtedly have an adverse impact on the generalizability and efficiency of the model. In this paper, to address these issues, we propose a novel graph self-contrast framework GraphSC, which only uses one positive and one negative sample, and chooses triplet loss as the objective. Specifically, self-contrast has two implications. First, GraphSC generates both positive and negative views of a graph sample from the graph itself via graph augmentation functions of various intensities, and use them for self-contrast. Second, GraphSC uses Hilbert-Schmidt Independence Criterion (HSIC) to factorize the representations into multiple factors and proposes a masked self-contrast mechanism to better separate positive and negative samples. Further, Since the triplet loss only optimizes the relative distance between the anchor and its positive/negative samples, it is difficult to ensure the absolute distance between the anchor and positive sample. Therefore, we explicitly reduced the absolute distance between the anchor and positive sample to accelerate convergence. Finally, we conduct extensive experiments to evaluate the performance of GraphSC against 19 other state-of-the-art methods in both unsupervised and transfer learning settings.
Abstract（参考訳）: グラフコントラスト学習(GCL)はグラフ表現学習において有望なアプローチとして最近登場した。既存の手法では、各グラフに対して1つの正とkの負のサンプルを構成するために1-vs-kスキームを採用しているが、kをセットすることは困難である。これらの欠点は、間違いなくモデルの一般化性と効率に悪影響を及ぼすだろう。本稿では,これらの問題に対処するために,1つの正と負のサンプルのみを用いるグラフ自己コントラストフレームワークGraphSCを提案し,その目的として三重項損失を選択する。特に、自己コントラストには2つの意味がある。まず、グラフSCはグラフ自体からのグラフサンプルの正と負の両方のビューを、様々な強度のグラフ拡張関数を介して生成し、自己コントラストに使用する。第二に、GraphSCはHilbert-Schmidt Independence Criterion (HSIC)を使用して表現を複数の因子に分解し、正と負のサンプルをよりよく分離する自己コントラスト機構を提案する。さらに、三重項損失はアンカーと正負のサンプルとの相対距離のみを最適化するので、アンカーと正のサンプルとの絶対距離を確保することは困難である。したがって,アンカーと正サンプルとの絶対距離を明示的に削減し,収束を加速する。最後に,教師なし学習と転送学習の両方において,19の最先端手法に対するgraphscの性能評価を行う。

関連論文リスト

Smoothed Graph Contrastive Learning via Seamless Proximity Integration [30.247207861739245]
グラフコントラスト学習(GCL)はノードペアを正と負に分類することでノード表現を整列させる。 SGCL(Smoothed Graph Contrastive Learning Model)を提案する。提案したSGCLは,3つの異なる平滑化手法を取り入れることで,ノード対に付随するペナルティを対照的な損失で調整する。
論文参考訳（メタデータ） (2024-02-23T11:32:46Z)
Graph Ranking Contrastive Learning: A Extremely Simple yet Efficient Method [17.760628718072144]
InfoNCEは2つのビューを得るために拡張技術を使用し、1つのビューのノードがアンカーとして機能し、もう1つのビューの対応するノードが正のサンプルとして機能し、他のすべてのノードが負のサンプルとみなされる。目標は、アンカーノードと正のサンプルの間の距離を最小化し、負のサンプルまでの距離を最大化することである。トレーニング中にラベル情報が不足しているため、InfoNCEは必然的に同じクラスのサンプルを負のサンプルとして扱い、偽の負のサンプルの問題を引き起こす。偽陰性サンプルの問題に対処する簡易かつ効率的なグラフコントラスト学習法であるGraphRankを提案する。
論文参考訳（メタデータ） (2023-10-23T03:15:57Z)
Localized Contrastive Learning on Graphs [110.54606263711385]
局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
論文参考訳（メタデータ） (2022-12-08T23:36:00Z)
Single-Pass Contrastive Learning Can Work for Both Homophilic and Heterophilic Graph [60.28340453547902]
グラフコントラッシブ・ラーニング(GCL)技術は通常、コントラッシブ・ロスを構築するために単一のインスタンスに対して2つのフォワードパスを必要とする。既存のGCLアプローチは、強力なパフォーマンス保証を提供していない。我々はSingle-Pass Graph Contrastive Learning法(SP-GCL)を実装した。経験的に、SP-GCLが学んだ機能は、計算オーバーヘッドを著しく少なくして、既存の強いベースラインにマッチまたは性能を向上することができる。
論文参考訳（メタデータ） (2022-11-20T07:18:56Z)
Efficient block contrastive learning via parameter-free meta-node approximation [1.1470070927586016]
サブサンプリングは最適ではなく、誤った負のサンプリングはサンプリングバイアスにつながる。本稿では,メタノードをベースとした近似手法を提案する。 6つのベンチマークで、最先端グラフクラスタリングよりも有望な精度向上を示す。
論文参考訳（メタデータ） (2022-09-28T12:56:35Z)
ARIEL: Adversarial Graph Contrastive Learning [51.14695794459399]
ARIELは、ノードレベルとグラフレベルの両方の分類タスクにおいて、現在のグラフコントラスト学習法よりも一貫して優れている。 ARIELは敵の攻撃に対してより堅牢である。
論文参考訳（メタデータ） (2022-08-15T01:24:42Z)
Generating Counterfactual Hard Negative Samples for Graph Contrastive Learning [22.200011046576716]
グラフコントラスト学習は教師なしグラフ表現学習の強力なツールである。最近の研究は、通常、正のサンプルと同一のトレーニングバッチから、または外部の無関係なグラフから、負のサンプルをサンプリングする。我々は、textbfCounterfactual Mechanism を利用して、TextbfContrastive Learning のための人工的硬質負のサンプルを生成する方法を提案する。
論文参考訳（メタデータ） (2022-07-01T02:19:59Z)
Prototypical Graph Contrastive Learning [141.30842113683775]
本稿では,有意なサンプリングバイアスを緩和するために,プロトタイプグラフコントラスト学習(PGCL)手法を提案する。具体的には、PGCLは、グラフデータの基盤となる意味構造を、意味論的に類似したグラフを同じグループにクラスタリングすることでモデル化し、同時に、同じグラフの異なる拡張に対するクラスタリング一貫性を奨励する。クエリのために、PGCLはさらに、プロトタイプ(クラスタセントロイド)とクエリプロトタイプの間の距離に基づいて、負のサンプルを再重み付けする。
論文参考訳（メタデータ） (2021-06-17T16:45:31Z)
Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss [72.62029620566925]
自己教師型学習の最近の研究は、対照的な学習パラダイムを頼りに、最先端の技術の進歩を遂げている。我々の研究は、正の対の条件的独立性を仮定することなく、対照的な学習を分析する。本稿では,人口増分グラフ上でスペクトル分解を行う損失を提案し,コントラスト学習目的として簡潔に記述することができる。
論文参考訳（メタデータ） (2021-06-08T07:41:02Z)
Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
論文参考訳（メタデータ） (2021-05-08T17:25:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。