論文の概要: ExGRG: Explicitly-Generated Relation Graph for Self-Supervised Representation Learning

• arxiv url: http://arxiv.org/abs/2402.06737v2
• Date: Tue, 4 Jun 2024 15:30:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 12:58:06.420217
• Title: ExGRG: Explicitly-Generated Relation Graph for Self-Supervised Representation Learning
• Title（参考訳）: ExGRG: 自己教師付き表現学習のための明示的生成関係グラフ
• Authors: Mahdi Naseri, Mahdi Biparva,
• Abstract要約: 自己教師型学習は、ディープラーニングモデルの事前学習において、強力なテクニックとして登場した。 本稿では,合成関係グラフを明示的に生成する新しい非競合SSL手法を提案する。
• 参考スコア（独自算出の注目度）: 4.105236597768038
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised Learning (SSL) has emerged as a powerful technique in pre-training deep learning models without relying on expensive annotated labels, instead leveraging embedded signals in unlabeled data. While SSL has shown remarkable success in computer vision tasks through intuitive data augmentation, its application to graph-structured data poses challenges due to the semantic-altering and counter-intuitive nature of graph augmentations. Addressing this limitation, this paper introduces a novel non-contrastive SSL approach to Explicitly Generate a compositional Relation Graph (ExGRG) instead of relying solely on the conventional augmentation-based implicit relation graph. ExGRG offers a framework for incorporating prior domain knowledge and online extracted information into the SSL invariance objective, drawing inspiration from the Laplacian Eigenmap and Expectation-Maximization (EM). Employing an EM perspective on SSL, our E-step involves relation graph generation to identify candidates to guide the SSL invariance objective, and M-step updates the model parameters by integrating the derived relational information. Extensive experimentation on diverse node classification datasets demonstrates the superiority of our method over state-of-the-art techniques, affirming ExGRG as an effective adoption of SSL for graph representation learning.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、高価なアノテートラベルに頼ることなく、ラベルのないデータに埋め込まれた信号を活用することなく、ディープラーニングモデルを事前訓練する強力なテクニックとして登場した。 SSLは直感的なデータ拡張を通じてコンピュータビジョンタスクにおいて顕著な成功を収めてきたが、グラフ構造化データへの適用は、グラフ拡張のセマンティック・アタリングと反直感的な性質のため、課題を提起している。 この制限に対処するため,従来の拡張型暗黙的関係グラフにのみ依存するのではなく,作曲関係グラフ(ExGRG)を明示的に生成する新たな非競合SSL手法を提案する。 ExGRGは、事前ドメイン知識とオンライン抽出された情報をSSL不変性の対象に組み込むためのフレームワークを提供し、ラプラシア固有マップと期待最大化(EM)からインスピレーションを得ている。 E-stepは、SSLのEMパースペクティブを利用して、SSLの分散目標を導出する候補を識別する関係グラフ生成を伴い、M-stepは派生した関係情報を統合することでモデルパラメータを更新する。 多様なノード分類データセットに対する大規模な実験により,この手法が最先端技術よりも優れていることが示され,グラフ表現学習におけるSSLの有効活用としてExGRGが確認された。

関連論文リスト

• Self-Supervised Conditional Distribution Learning on Graphs [15.730933577970687]
  本稿では,従来の特徴に対して,弱い特徴と強く拡張された特徴の条件分布を整列するエンドツーエンドグラフ表現学習モデルを提案する。 このアライメントは、グラフ構造化データ拡張による本質的な意味情報の破壊のリスクを効果的に低減する。
  論文  参考訳（メタデータ） (2024-11-20T07:26:36Z)
• CONVERT:Contrastive Graph Clustering with Reliable Augmentation [110.46658439733106]
  信頼性オーグメンテーション(CONVERT)を用いたContrastiVe Graph ClustEringネットワークを提案する。 本手法では,データ拡張を可逆的パーターブ・リカバリネットワークにより処理する。 セマンティクスの信頼性をさらに保証するために、ネットワークを制約する新たなセマンティクス損失が提示される。
  論文  参考訳（メタデータ） (2023-08-17T13:07:09Z)
• Analyzing Data-Centric Properties for Contrastive Learning on Graphs [32.69353929886551]
  コントラスト学習(CL)のようなグラフSSLメソッドはどのように機能するかを検討する。 我々の研究は、実験的にも理論的にも、データ中心のプロパティがグラフSSLの強化戦略や学習パラダイムに与える影響を厳格に文脈化しています。
  論文  参考訳（メタデータ） (2022-08-04T17:58:37Z)
• GraphMAE: Self-Supervised Masked Graph Autoencoders [52.06140191214428]
  本稿では,自己教師付きグラフ学習における課題を軽減するマスク付きグラフオートエンコーダGraphMAEを提案する。 我々は3つの異なるグラフ学習タスクに対して、21の公開データセットに関する広範な実験を行った。 その結果,GraphMAEはグラフオートエンコーダであり,設計に注意を払っている。
  論文  参考訳（メタデータ） (2022-05-22T11:57:08Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• Learning the Implicit Semantic Representation on Graph-Structured Data [57.670106959061634]
  グラフ畳み込みネットワークにおける既存の表現学習手法は主に、各ノードの近傍を知覚全体として記述することで設計される。 本稿では,グラフの潜在意味パスを学習することで暗黙的な意味を探索する意味グラフ畳み込みネットワーク(sgcn)を提案する。
  論文  参考訳（メタデータ） (2021-01-16T16:18:43Z)
• Graph Contrastive Learning with Adaptive Augmentation [23.37786673825192]
  本稿では,適応的拡張を用いた新しいグラフコントラスト表現学習法を提案する。 具体的には,ノードの集中度に基づく拡張スキームを設計し,重要な結合構造を明らかにする。 提案手法は,既存の最先端のベースラインを一貫して上回り,教師付きベースラインを超えている。
  論文  参考訳（メタデータ） (2020-10-27T15:12:21Z)
• Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning [64.98816284854067]
  グラフベースのSemi-Supervised Learning (SSL)は、少数のラベル付きデータのラベルをグラフ経由で残りの巨大なラベル付きデータに転送することを目的としている。 本稿では,データ類似性とグラフ構造を両立させ,監視信号の強化を図るため,新しいGCNベースのSSLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-15T13:59:28Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。