論文の概要: Graph-level Representation Learning with Joint-Embedding Predictive Architectures

• arxiv url: http://arxiv.org/abs/2309.16014v1
• Date: Wed, 27 Sep 2023 20:42:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-29 18:45:50.893293
• Title: Graph-level Representation Learning with Joint-Embedding Predictive Architectures
• Title（参考訳）: ジョイント埋め込み予測アーキテクチャを用いたグラフレベルの表現学習
• Authors: Geri Skenderi, Hang Li, Jiliang Tang, Marco Cristani
• Abstract要約: JEPA(Joint-Embedding Predictive Architectures)は、自己指導型表現学習の斬新で強力な技術である。 JEPAsは、生成ベースの事前トレーニングに関連する過度な問題を避けながら、データ拡張と負のサンプルの必要性を回避している。 このパラダイムを用いてグラフレベルの表現を効果的にモデル化できることを示し、グラフドメインの最初のJEPAであるGraph-JEPAを提案する。
• 参考スコア（独自算出の注目度）: 47.94798593020009
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Joint-Embedding Predictive Architectures (JEPAs) have recently emerged as a novel and powerful technique for self-supervised representation learning. They aim to learn an energy-based model by predicting the latent representation of a target signal $y$ from a context signal $x$. JEPAs bypass the need for data augmentation and negative samples, which are typically required by contrastive learning, while avoiding the overfitting issues associated with generative-based pretraining. In this paper, we show that graph-level representations can be effectively modeled using this paradigm and propose Graph-JEPA, the first JEPA for the graph domain. In particular, we employ masked modeling to learn embeddings for different subgraphs of the input graph. To endow the representations with the implicit hierarchy that is often present in graph-level concepts, we devise an alternative training objective that consists of predicting the coordinates of the encoded subgraphs on the unit hyperbola in the 2D plane. Extensive validation shows that Graph-JEPA can learn representations that are expressive and competitive in both graph classification and regression problems.
• Abstract（参考訳）: JEPA(Joint-Embedding Predictive Architectures)は、最近、自己教師型表現学習の新しい強力な技術として登場した。 彼らは、コンテキスト信号$x$からターゲット信号$y$の潜在表現を予測することで、エネルギーベースのモデルを学ぶことを目指している。 JEPAsは、データ拡張と負のサンプルの必要性を回避し、典型的には対照的な学習によって要求されると同時に、生成ベースの事前トレーニングに関連する過度な問題を回避する。 本稿では、このパラダイムを用いてグラフレベルの表現を効果的にモデル化できることを示し、グラフ領域の最初のJEPAであるGraph-JEPAを提案する。 特に、入力グラフの異なる部分グラフに対する埋め込みを学習するためにマスク付きモデリングを用いる。 グラフレベルの概念にしばしば現れる暗黙の階層を持つ表現を与えるために、2次元平面の単位双曲線上の符号化された部分グラフの座標を予測することからなる代替のトレーニング目標を考案する。 グラフ分類と回帰問題の両方において、グラフJEPAは表現力と競争力のある表現を学習できることを示す。

関連論文リスト

• Isomorphic-Consistent Variational Graph Auto-Encoders for Multi-Level Graph Representation Learning [9.039193854524763]
  本稿では,タスク非依存グラフ表現学習のためのアイソモルフィック-一貫性VGAE(IsoC-VGAE)を提案する。 まず、同型整合性を維持する理論的保証を提供するための復号法を考案する。 次に,逆グラフニューラルネットワーク(Inv-GNN)デコーダを直感的な実現法として提案する。
  論文  参考訳（メタデータ） (2023-12-09T10:16:53Z)
• You Only Transfer What You Share: Intersection-Induced Graph Transfer Learning for Link Prediction [79.15394378571132]
  従来見過ごされていた現象を調査し、多くの場合、元のグラフに対して密に連結された補グラフを見つけることができる。 より密度の高いグラフは、選択的で有意義な知識を伝達するための自然なブリッジを提供する元のグラフとノードを共有することができる。 この設定をグラフインターセクション誘導トランスファーラーニング(GITL)とみなし,eコマースや学術共同オーサシップ予測の実践的応用に動機づけられた。
  論文  参考訳（メタデータ） (2023-02-27T22:56:06Z)
• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• Generative Graph Neural Networks for Link Prediction [13.643916060589463]
  欠落したリンクを推測したり、観測されたグラフに基づいて急激なリンクを検出することは、グラフデータ分析における長年の課題である。 本稿では,GraphLPと呼ばれるネットワーク再構成理論に基づく,新しい,根本的に異なるリンク予測アルゴリズムを提案する。 リンク予測に使用される識別ニューラルネットワークモデルとは異なり、GraphLPは生成可能であり、ニューラルネットワークベースのリンク予測の新しいパラダイムを提供する。
  論文  参考訳（メタデータ） (2022-12-31T10:07:19Z)
• Detecting Objects with Context-Likelihood Graphs and Graph Refinement [45.70356990655389]
  本研究の目的は,オブジェクトと関係を別々に学習する既存の手法とは対照的に,オブジェクトの関係分布を共同で学習することである。 本稿では,オブジェクト間関係と初期クラス予測から画像のグラフィカルな表現を生成する新しい手法を提案する。 次に,エネルギーに基づくモデリング手法を用いて接合部を学習し,与えられた画像に対して文脈類似グラフを反復的に改良する。
  論文  参考訳（メタデータ） (2022-12-23T15:27:21Z)
• GEMS: Scene Expansion using Generative Models of Graphs [3.5998698847215165]
  本稿では,その表現,シーングラフに着目し,新たなシーン拡張タスクを提案する。 まず、まず新しいノードを予測し、次にグラフ内の新しく予測されたノードと以前のノードの関係を予測します。 我々は、拡張されたシーングラフを評価するために、Visual GenomeとVRDデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-07-08T07:41:28Z)
• Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
  トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。 私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。 さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
  論文  参考訳（メタデータ） (2022-06-23T20:12:51Z)
• Group Contrastive Self-Supervised Learning on Graphs [101.45974132613293]
  グラフ上での自己教師型学習をコントラッシブ手法を用いて研究する。 複数の部分空間におけるグラフの対比により、グラフエンコーダはより豊富な特徴を捉えることができる。
  論文  参考訳（メタデータ） (2021-07-20T22:09:21Z)
• A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
  本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。 AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。 本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-22T07:05:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。