論文の概要: Self-supervised Auxiliary Learning for Graph Neural Networks via Meta-Learning

• arxiv url: http://arxiv.org/abs/2103.00771v1
• Date: Mon, 1 Mar 2021 05:52:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 16:19:05.850529
• Title: Self-supervised Auxiliary Learning for Graph Neural Networks via Meta-Learning
• Title（参考訳）: メタラーニングによるグラフニューラルネットワークの自己監督型補助学習
• Authors: Dasol Hwang, Jinyoung Park, Sunyoung Kwon, Kyung-Min Kim, Jung-Woo Ha, and Hyunwoo j. Kim
• Abstract要約: グラフニューラルネットワークを効果的に学習するための,新しい自己監視型補助学習フレームワークを提案する。 本手法では,様々な補助タスクを用いて一次タスクを学習し,一般化性能を向上させる。 本手法は,任意のグラフニューラルネットワークに対して,手動ラベリングや追加データなしでプラグイン方式で適用することができる。
• 参考スコア（独自算出の注目度）: 16.847149163314462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, graph neural networks (GNNs) have been widely adopted in representation learning of graph-structured data and provided state-of-the-art performance in various application such as link prediction and node classification. Simultaneously, self-supervised learning has been studied to some extent to leverage rich unlabeled data in representation learning on graphs. However, employing self-supervision tasks as auxiliary tasks to assist a primary task has been less explored in the literature on graphs. In this paper, we propose a novel self-supervised auxiliary learning framework to effectively learn graph neural networks. Moreover, we design first a meta-path prediction as a self-supervised auxiliary task for heterogeneous graphs. Our method is learning to learn a primary task with various auxiliary tasks to improve generalization performance. The proposed method identifies an effective combination of auxiliary tasks and automatically balances them to improve the primary task. Our methods can be applied to any graph neural networks in a plug-in manner without manual labeling or additional data. Also, it can be extended to any other auxiliary tasks. Our experiments demonstrate that the proposed method consistently improves the performance of link prediction and node classification on heterogeneous graphs.
• Abstract（参考訳）: 近年、グラフニューラルネットワーク(GNN)はグラフ構造化データの表現学習に広く採用されており、リンク予測やノード分類といった様々なアプリケーションで最先端のパフォーマンスを提供している。 同時に、グラフ上の表現学習に豊富なラベルのないデータを活用するために、ある程度自己監督学習が研究されている。 しかし、主課題を支援する補助タスクとして自己超越タスクを採用することは、グラフに関する文献ではあまり研究されていない。 本稿では,グラフニューラルネットワークを効果的に学習するための自己監視型補助学習フレームワークを提案する。 さらに、まずメタパス予測を非均質グラフの自己監視補助タスクとして設計する。 本手法では,様々な補助タスクを用いて一次タスクを学習し,一般化性能を向上させる。 提案手法は補助タスクの効果的な組み合わせを特定し,それらを自動的にバランスさせ,一次タスクを改善する。 本手法は,任意のグラフニューラルネットワークに対して,手動ラベリングや追加データなしでプラグイン方式で適用することができる。 また、他の補助的なタスクにも拡張できる。 提案手法は,ヘテロジニアスグラフにおけるリンク予測とノード分類の性能を一貫して向上させることを示す。

関連論文リスト

• Universal Graph Continual Learning [22.010954622073598]
  タスクの各データポイントがノードかグラフになり得る普遍的なアプローチに注目し、タスクはノードからグラフの分類まで様々である。 本稿では,この普遍的な設定において,グラフニューラルネットワークが優れる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-27T01:19:19Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
  グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。 グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。 ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
  論文  参考訳（メタデータ） (2023-01-14T09:15:49Z)
• An Empirical Study of Retrieval-enhanced Graph Neural Networks [48.99347386689936]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習に有効なツールである。 本稿では,グラフニューラルネットワークモデルの選択に非依存な GraphRETRIEVAL という検索強化方式を提案する。 我々は13のデータセットに対して包括的な実験を行い、GRAPHRETRIEVALが既存のGNNよりも大幅に改善されていることを観察した。
  論文  参考訳（メタデータ） (2022-06-01T09:59:09Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• A Comprehensive Analytical Survey on Unsupervised and Semi-Supervised Graph Representation Learning Methods [4.486285347896372]
  本調査は,グラフ埋め込み手法のすべての主要なクラスを評価することを目的としている。 我々は,手動の特徴工学,行列分解,浅部ニューラルネットワーク,深部グラフ畳み込みネットワークなどの手法を含む分類学を用いてグラフ埋め込み手法を編成した。 我々はPyTorch GeometricおよびDGLライブラリ上で実験を設計し、異なるマルチコアCPUおよびGPUプラットフォーム上で実験を行った。
  論文  参考訳（メタデータ） (2021-12-20T07:50:26Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• Self-supervised Auxiliary Learning with Meta-paths for Heterogeneous Graphs [21.617020380894488]
  ヘテロジニアスグラフ上のグラフニューラルネットワークを学習するための,新しい自己教師付き補助学習法を提案する。 本手法は,任意のグラフニューラルネットワークに対して,手動ラベリングや追加データなしでプラグイン方式で適用することができる。
  論文  参考訳（メタデータ） (2020-07-16T12:32:11Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。