論文の概要: Self-supervised Graph Representation Learning via Bootstrapping

• arxiv url: http://arxiv.org/abs/2011.05126v2
• Date: Thu, 12 Nov 2020 01:14:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 06:37:24.345202
• Title: Self-supervised Graph Representation Learning via Bootstrapping
• Title（参考訳）: ブートストラップによる自己教師付きグラフ表現学習
• Authors: Feihu Che, Guohua Yang, Dawei Zhang, Jianhua Tao, Pengpeng Shao, Tong Liu
• Abstract要約: 深層グラフブートストラップ(DGB)の自己教師付きグラフ表現法を提案する。 DGBは、オンラインとターゲットの2つのニューラルネットワークで構成されており、その入力は初期グラフの異なる拡張ビューである。 その結果、教師なしの方法で負の例を伴わずにグラフ表現を学習できる。
• 参考スコア（独自算出の注目度）: 35.56360622521721
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks~(GNNs) apply deep learning techniques to graph-structured data and have achieved promising performance in graph representation learning. However, existing GNNs rely heavily on enough labels or well-designed negative samples. To address these issues, we propose a new self-supervised graph representation method: deep graph bootstrapping~(DGB). DGB consists of two neural networks: online and target networks, and the input of them are different augmented views of the initial graph. The online network is trained to predict the target network while the target network is updated with a slow-moving average of the online network, which means the online and target networks can learn from each other. As a result, the proposed DGB can learn graph representation without negative examples in an unsupervised manner. In addition, we summarize three kinds of augmentation methods for graph-structured data and apply them to the DGB. Experiments on the benchmark datasets show the DGB performs better than the current state-of-the-art methods and how the augmentation methods affect the performances.
• Abstract（参考訳）: グラフニューラルネットワーク~(GNN)は、グラフ構造化データにディープラーニング技術を適用し、グラフ表現学習において有望な性能を達成した。 しかし、既存のGNNは十分なラベルやよく設計された負のサンプルに大きく依存している。 これらの問題に対処するために,新しい自己教師付きグラフ表現法であるdeep graph bootstrapping~(dgb)を提案する。 DGBは、オンラインとターゲットの2つのニューラルネットワークで構成されており、その入力は初期グラフの異なる拡張ビューである。 オンラインネットワークはターゲットネットワークを予測するように訓練され、ターゲットネットワークは遅い平均値で更新されるため、オンラインネットワークとターゲットネットワークは相互に学習することができる。 その結果,提案するdgbは否定的な例を伴わずに教師なしでグラフ表現を学習できる。 さらに,グラフ構造化データに対する3種類の拡張手法を要約し,dgbに適用する。 ベンチマークデータセットの実験では、DGBは現在の最先端メソッドよりもパフォーマンスが良く、拡張メソッドがパフォーマンスに与える影響が示されている。

関連論文リスト

• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Learning Graph Representations [0.0]
  グラフニューラルネットワーク(GNN)は、大きな動的グラフデータセットに対する洞察を得るための効率的な方法である。 本稿では,グラフ畳み込みニューラルネットワークのオートエンコーダとソーシャル・テンポラル・グラフ・ニューラルネットワークについて論じる。
  論文  参考訳（メタデータ） (2021-02-03T12:07:55Z)
• Co-embedding of Nodes and Edges with Graph Neural Networks [13.020745622327894]
  グラフ埋め込みは、高次元および非ユークリッド特徴空間でデータ構造を変換しエンコードする方法である。 CensNetは一般的なグラフ埋め込みフレームワークで、ノードとエッジの両方を潜在機能空間に埋め込む。 提案手法は,4つのグラフ学習課題における最先端のパフォーマンスを達成または一致させる。
  論文  参考訳（メタデータ） (2020-10-25T22:39:31Z)
• Graph Contrastive Learning with Augmentations [109.23158429991298]
  グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。 我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T20:13:43Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• Machine Learning on Graphs: A Model and Comprehensive Taxonomy [22.73365477040205]
  グラフニューラルネットワーク、ネットワーク埋め込み、グラフ正規化モデルの間のギャップを埋める。 具体的には、グラフ上の半教師付き学習のための一般的なアルゴリズムを一般化するグラフデコーダモデル( GraphEDM)を提案する。
  論文  参考訳（メタデータ） (2020-05-07T18:00:02Z)
• Graphs, Convolutions, and Neural Networks: From Graph Filters to Graph Neural Networks [183.97265247061847]
  我々はグラフ信号処理を活用してグラフニューラルネットワーク(GNN)の表現空間を特徴付ける。 GNNにおけるグラフ畳み込みフィルタの役割について議論し、そのようなフィルタで構築されたアーキテクチャは、置換同値の基本的な性質と位相変化に対する安定性を持つことを示す。 また,ロボット群に対するリコメンデータシステムや分散型コントローラの学習におけるGNNの利用について検討した。
  論文  参考訳（メタデータ） (2020-03-08T13:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。