論文の概要: There is more to graphs than meets the eye: Learning universal features with self-supervision

• arxiv url: http://arxiv.org/abs/2305.19871v1
• Date: Wed, 31 May 2023 14:08:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 16:10:26.677851
• Title: There is more to graphs than meets the eye: Learning universal features with self-supervision
• Title（参考訳）: グラフは目を満たす以上のもの: 自己スーパービジョンで普遍的な特徴を学ぶ
• Authors: Laya Das, Sai Munikoti, Mahantesh Halappanavar
• Abstract要約: 本稿では,複数のグラフにまたがる普遍的特徴学習の問題について,自己スーパービジョンを用いて検討する。 複数のグラフに対する普遍的な表現学習モジュールとして機能するトランスフォーマーバックボーンを採用する。 実験の結果,同じタイプの複数のグラフ – 引用ネットワーク – を活用することで,表現の質が向上することがわかった。
• 参考スコア（独自算出の注目度）: 1.399617112958673
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of learning universal features across multiple graphs through self-supervision. Graph self supervised learning has been shown to facilitate representation learning, and produce competitive models compared to supervised baselines. However, existing methods of self-supervision learn features from one graph, and thus, produce models that are specialized to a particular graph. We hypothesize that leveraging multiple graphs of the same type/class can improve the quality of learnt representations in the model by extracting features that are universal to the class of graphs. We adopt a transformer backbone that acts as a universal representation learning module for multiple graphs. We leverage neighborhood aggregation coupled with graph-specific embedding generator to transform disparate node embeddings from multiple graphs to a common space for the universal backbone. We learn both universal and graph-specific parameters in an end-to-end manner. Our experiments reveal that leveraging multiple graphs of the same type -- citation networks -- improves the quality of representations and results in better performance on downstream node classification task compared to self-supervision with one graph. The results of our study improve the state-of-the-art in graph self-supervised learning, and bridge the gap between self-supervised and supervised performance.
• Abstract（参考訳）: 本研究では,複数のグラフにまたがる普遍的特徴の学習問題を自己スーパービジョンを通して検討する。 グラフ自己教師付き学習は、表現学習を促進し、教師付きベースラインと比較して競合モデルを生成する。 しかし、既存の自己超越法は、あるグラフから特徴を学習し、特定のグラフに特化したモデルを生成する。 同じ型/クラスの複数のグラフを利用することで、グラフのクラスに共通な特徴を抽出することにより、モデルにおける学習表現の品質を向上させることができると仮定する。 複数のグラフに対する普遍表現学習モジュールとして機能するトランスフォーマーバックボーンを採用する。 グラフ固有の埋め込み生成器と結合した近傍アグリゲーションを利用して、異なるノード埋め込みを複数のグラフから共通空間に変換する。 普遍パラメータとグラフ固有パラメータの両方をエンドツーエンドで学習する。 実験により,同一タイプの複数のグラフ -- 引用ネットワーク -- を活用することで表現の質が向上し,ダウンストリームノードの分類タスクにおいて1つのグラフによる自己スーパービジョンよりもパフォーマンスが向上することが判明した。 本研究は,グラフ自己教師型学習における最先端技術の向上と,自己教師型と教師型パフォーマンスのギャップを埋めるものである。

関連論文リスト

• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• CGMN: A Contrastive Graph Matching Network for Self-Supervised Graph Similarity Learning [65.1042892570989]
  自己教師付きグラフ類似性学習のためのコントラストグラフマッチングネットワーク(CGMN)を提案する。 我々は,効率的なノード表現学習のために,クロスビューインタラクションとクロスグラフインタラクションという2つの戦略を用いる。 我々はノード表現をグラフ類似性計算のためのプール演算によりグラフレベル表現に変換する。
  論文  参考訳（メタデータ） (2022-05-30T13:20:26Z)
• Graph Self-supervised Learning with Accurate Discrepancy Learning [64.69095775258164]
  離散性に基づく自己監督型LeArning(D-SLA)と呼ばれる原図と摂動グラフの正確な相違を学習することを目的としたフレームワークを提案する。 本稿では,分子特性予測,タンパク質機能予測,リンク予測タスクなど,グラフ関連下流タスクにおける本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-02-07T08:04:59Z)
• Edge but not Least: Cross-View Graph Pooling [76.71497833616024]
  本稿では,重要なグラフ構造情報を活用するために,クロスビューグラフプーリング(Co-Pooling)手法を提案する。 クロスビュー相互作用、エッジビュープーリング、ノードビュープーリングにより、相互にシームレスに強化され、より情報的なグラフレベルの表現が学習される。
  論文  参考訳（メタデータ） (2021-09-24T08:01:23Z)
• Generating a Doppelganger Graph: Resembling but Distinct [5.618335078130568]
  本論文では,与えられたグラフ特性に類似したドッペルガンガーグラフを生成する手法を提案する。 このアプローチは、グラフ表現学習、生成的敵ネットワーク、およびグラフ実現アルゴリズムのオーケストレーションである。
  論文  参考訳（メタデータ） (2021-01-23T22:08:27Z)
• Multilevel Graph Matching Networks for Deep Graph Similarity Learning [79.3213351477689]
  グラフ構造オブジェクト間のグラフ類似性を計算するためのマルチレベルグラフマッチングネットワーク(MGMN)フレームワークを提案する。 標準ベンチマークデータセットの欠如を補うため、グラフグラフ分類とグラフグラフ回帰タスクの両方のためのデータセットセットを作成し、収集した。 総合的な実験により、MGMNはグラフグラフ分類とグラフグラフ回帰タスクの両方において、最先端のベースラインモデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-08T19:48:19Z)
• GraphOpt: Learning Optimization Models of Graph Formation [72.75384705298303]
  本稿では,グラフ構造形成の暗黙的モデルを学ぶエンドツーエンドフレームワークを提案し,その基盤となる最適化機構を明らかにする。 学習した目的は、観測されたグラフプロパティの説明として機能し、ドメイン内の異なるグラフを渡すために自分自身を貸すことができる。 GraphOptは、グラフ内のリンク生成をシーケンシャルな意思決定プロセスとして、最大エントロピー逆強化学習アルゴリズムを用いて解決する。
  論文  参考訳（メタデータ） (2020-07-07T16:51:39Z)
• Machine Learning on Graphs: A Model and Comprehensive Taxonomy [22.73365477040205]
  グラフニューラルネットワーク、ネットワーク埋め込み、グラフ正規化モデルの間のギャップを埋める。 具体的には、グラフ上の半教師付き学習のための一般的なアルゴリズムを一般化するグラフデコーダモデル( GraphEDM)を提案する。
  論文  参考訳（メタデータ） (2020-05-07T18:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。