論文の概要: Graph-level Representation Learning with Joint-Embedding Predictive Architectures

• arxiv url: http://arxiv.org/abs/2309.16014v2
• Date: Sun, 23 Jun 2024 09:31:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 04:48:52.733002
• Title: Graph-level Representation Learning with Joint-Embedding Predictive Architectures
• Title（参考訳）: 結合埋め込み予測アーキテクチャを用いたグラフレベルの表現学習
• Authors: Geri Skenderi, Hang Li, Jiliang Tang, Marco Cristani,
• Abstract要約: JEPA(Joint-Embedding Predictive Architectures)は、自己指導型表現学習の斬新で強力な技術である。 グラフ結合埋め込み予測アーキテクチャ(Graph-JEPA)を提案することにより、このパラダイムを用いてグラフレベルの表現を効果的にモデル化できることを示す。 特に、マスク付きモデリングを採用し、コンテキストサブグラフの潜時表現から始まるマスク付きサブグラフの潜時表現を予測することに焦点をあてる。
• 参考スコア（独自算出の注目度）: 43.89120279424267
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Joint-Embedding Predictive Architectures (JEPAs) have recently emerged as a novel and powerful technique for self-supervised representation learning. They aim to learn an energy-based model by predicting the latent representation of a target signal y from the latent representation of a context signal x. JEPAs bypass the need for negative and positive samples, traditionally required by contrastive learning while avoiding the overfitting issues associated with generative pretraining. In this paper, we show that graph-level representations can be effectively modeled using this paradigm by proposing a Graph Joint-Embedding Predictive Architecture (Graph-JEPA). In particular, we employ masked modeling and focus on predicting the latent representations of masked subgraphs starting from the latent representation of a context subgraph. To endow the representations with the implicit hierarchy that is often present in graph-level concepts, we devise an alternative prediction objective that consists of predicting the coordinates of the encoded subgraphs on the unit hyperbola in the 2D plane. Through multiple experimental evaluations, we show that Graph-JEPA can learn highly semantic and expressive representations, as shown by the downstream performance in graph classification, regression, and distinguishing non-isomorphic graphs. The code will be made available upon acceptance.
• Abstract（参考訳）: JEPA(Joint-Embedding Predictive Architectures)は、最近、自己教師型表現学習の斬新で強力な技術として登場した。 彼らは、コンテキスト信号xの潜時表現から目標信号yの潜時表現を予測することにより、エネルギーベースモデルを学習することを目指している。 JEPAは、否定的なサンプルと肯定的なサンプルの必要性を回避します。 本稿では,グラフ結合埋め込み予測アーキテクチャ(Graph-JEPA)を提案することにより,このパラダイムを用いてグラフレベルの表現を効果的にモデル化できることを示す。 特に、マスク付きモデリングを採用し、コンテキストサブグラフの潜時表現から始まるマスク付きサブグラフの潜時表現を予測することに焦点をあてる。 グラフレベルの概念によく見られる暗黙的階層を持つ表現を実現するために、2次元平面上の単位双曲面上の符号化された部分グラフの座標を予測することからなる別の予測目標を考案する。 複数の実験結果から,グラフ分類,回帰,非同型グラフの識別において,グラフ-JEPAは,下流のパフォーマンスから示すように,高度に意味的かつ表現的な表現を学習できることが示されている。 コードは受理時に利用可能になる。

関連論文リスト

• Isomorphic-Consistent Variational Graph Auto-Encoders for Multi-Level Graph Representation Learning [9.039193854524763]
  本稿では,タスク非依存グラフ表現学習のためのアイソモルフィック-一貫性VGAE(IsoC-VGAE)を提案する。 まず、同型整合性を維持する理論的保証を提供するための復号法を考案する。 次に,逆グラフニューラルネットワーク(Inv-GNN)デコーダを直感的な実現法として提案する。
  論文  参考訳（メタデータ） (2023-12-09T10:16:53Z)
• You Only Transfer What You Share: Intersection-Induced Graph Transfer Learning for Link Prediction [79.15394378571132]
  従来見過ごされていた現象を調査し、多くの場合、元のグラフに対して密に連結された補グラフを見つけることができる。 より密度の高いグラフは、選択的で有意義な知識を伝達するための自然なブリッジを提供する元のグラフとノードを共有することができる。 この設定をグラフインターセクション誘導トランスファーラーニング(GITL)とみなし,eコマースや学術共同オーサシップ予測の実践的応用に動機づけられた。
  論文  参考訳（メタデータ） (2023-02-27T22:56:06Z)
• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• Generative Graph Neural Networks for Link Prediction [13.643916060589463]
  欠落したリンクを推測したり、観測されたグラフに基づいて急激なリンクを検出することは、グラフデータ分析における長年の課題である。 本稿では,GraphLPと呼ばれるネットワーク再構成理論に基づく,新しい,根本的に異なるリンク予測アルゴリズムを提案する。 リンク予測に使用される識別ニューラルネットワークモデルとは異なり、GraphLPは生成可能であり、ニューラルネットワークベースのリンク予測の新しいパラダイムを提供する。
  論文  参考訳（メタデータ） (2022-12-31T10:07:19Z)
• Detecting Objects with Context-Likelihood Graphs and Graph Refinement [45.70356990655389]
  本研究の目的は,オブジェクトと関係を別々に学習する既存の手法とは対照的に,オブジェクトの関係分布を共同で学習することである。 本稿では,オブジェクト間関係と初期クラス予測から画像のグラフィカルな表現を生成する新しい手法を提案する。 次に,エネルギーに基づくモデリング手法を用いて接合部を学習し,与えられた画像に対して文脈類似グラフを反復的に改良する。
  論文  参考訳（メタデータ） (2022-12-23T15:27:21Z)
• GEMS: Scene Expansion using Generative Models of Graphs [3.5998698847215165]
  本稿では,その表現,シーングラフに着目し,新たなシーン拡張タスクを提案する。 まず、まず新しいノードを予測し、次にグラフ内の新しく予測されたノードと以前のノードの関係を予測します。 我々は、拡張されたシーングラフを評価するために、Visual GenomeとVRDデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-07-08T07:41:28Z)
• Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
  トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。 私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。 さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
  論文  参考訳（メタデータ） (2022-06-23T20:12:51Z)
• Group Contrastive Self-Supervised Learning on Graphs [101.45974132613293]
  グラフ上での自己教師型学習をコントラッシブ手法を用いて研究する。 複数の部分空間におけるグラフの対比により、グラフエンコーダはより豊富な特徴を捉えることができる。
  論文  参考訳（メタデータ） (2021-07-20T22:09:21Z)
• A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
  本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。 AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。 本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-22T07:05:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。