論文の概要: When Does Self-Supervision Help Graph Convolutional Networks?

• arxiv url: http://arxiv.org/abs/2006.09136v4
• Date: Sat, 18 Jul 2020 00:24:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 19:27:24.270800
• Title: When Does Self-Supervision Help Graph Convolutional Networks?
• Title（参考訳）: 自己スーパービジョンはいつグラフ畳み込みネットワークに役立つか?
• Authors: Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen
• Abstract要約: 自己スーパービジョンは、画像のより転送可能で一般化可能で堅牢な表現学習のために、畳み込みニューラルネットワーク(CNN)を訓練するために採用されている。 本研究では,グラフ畳み込みネットワーク(GCN)に自己超越を取り入れた最初の体系的探索について報告する。 その結果、適切に設計されたタスク形式と構成機構により、より一般化性と堅牢性を得る上で、自己スーパービジョンはGCNに恩恵をもたらすことが明らかとなった。
• 参考スコア（独自算出の注目度）: 118.37805042816784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervision as an emerging technique has been employed to train convolutional neural networks (CNNs) for more transferrable, generalizable, and robust representation learning of images. Its introduction to graph convolutional networks (GCNs) operating on graph data is however rarely explored. In this study, we report the first systematic exploration and assessment of incorporating self-supervision into GCNs. We first elaborate three mechanisms to incorporate self-supervision into GCNs, analyze the limitations of pretraining & finetuning and self-training, and proceed to focus on multi-task learning. Moreover, we propose to investigate three novel self-supervised learning tasks for GCNs with theoretical rationales and numerical comparisons. Lastly, we further integrate multi-task self-supervision into graph adversarial training. Our results show that, with properly designed task forms and incorporation mechanisms, self-supervision benefits GCNs in gaining more generalizability and robustness. Our codes are available at https://github.com/Shen-Lab/SS-GCNs.
• Abstract（参考訳）: 自己スーパービジョンは、画像のより転送可能で一般化可能で堅牢な表現学習のために、畳み込みニューラルネットワーク(CNN)を訓練するために採用されている。 しかし、グラフデータ上で動作するグラフ畳み込みネットワーク(GCN)の導入はまれである。 本研究では,gcnsに自己スーパービジョンを組み込んだ最初の体系的探索と評価について報告する。 まず, 自己超越をGCNに組み込む3つのメカニズムを詳しく検討し, 事前学習, 微調整, 自己学習の限界を分析し, マルチタスク学習に注力する。 さらに,理論的な根拠と数値比較によるgcnsの自己教師あり学習タスクを3つ検討する。 最後に,マルチタスクの自己スーパービジョンをグラフの敵対的トレーニングに統合する。 以上の結果から, タスク形式と組込み機構を適切に設計することで, 自己スーパービジョンにより, 汎用性とロバスト性が向上する可能性が示唆された。 私たちのコードはhttps://github.com/Shen-Lab/SS-GCNsで利用可能です。

関連論文リスト

• Applying Self-supervised Learning to Network Intrusion Detection for Network Flows with Graph Neural Network [8.318363497010969]
  本稿では,教師なし型ネットワークフローの特定のためのGNNの適用について検討する。 我々の知る限り、NIDSにおけるネットワークフローのマルチクラス分類のための最初のGNNベースの自己教師方式である。
  論文  参考訳（メタデータ） (2024-03-03T12:34:13Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Convolutional Neural Network Dynamics: A Graph Perspective [39.81881710355496]
  本稿では,NNのグラフ構造と性能の関係について検討する。 NNの動的グラフ表現について、完全連結層と畳み込み層の構造表現について検討する。 解析により, NNの性能を正確に予測するために, グラフ統計の簡単な要約を用いることができることがわかった。
  論文  参考訳（メタデータ） (2021-11-09T20:38:48Z)
• Self-supervised Auxiliary Learning for Graph Neural Networks via Meta-Learning [16.847149163314462]
  グラフニューラルネットワークを効果的に学習するための,新しい自己監視型補助学習フレームワークを提案する。 本手法では,様々な補助タスクを用いて一次タスクを学習し,一般化性能を向上させる。 本手法は,任意のグラフニューラルネットワークに対して,手動ラベリングや追加データなしでプラグイン方式で適用することができる。
  論文  参考訳（メタデータ） (2021-03-01T05:52:57Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• Learning to Execute Programs with Instruction Pointer Attention Graph Neural Networks [55.98291376393561]
  グラフニューラルネットワーク(GNN)は、ソフトウェアエンジニアリングタスクを学習するための強力なツールとして登場した。 リカレントニューラルネットワーク(RNN)は、長いシーケンシャルな推論の連鎖に適しているが、プログラム構造を自然に組み込んでいるわけではない。 本稿では,新しいGNNアーキテクチャ,IPA-GNN(Instruction Pointer Attention Graph Neural Networks)を導入する。
  論文  参考訳（メタデータ） (2020-10-23T19:12:30Z)
• Attentive Graph Neural Networks for Few-Shot Learning [74.01069516079379]
  グラフニューラルネットワーク(GNN)は、数ショットの学習タスクを含む多くの困難なアプリケーションにおいて、優れたパフォーマンスを示している。 少数のサンプルからモデルを学習し、一般化する能力があるにもかかわらず、GNNは通常、モデルが深くなるにつれて、過度な過度な適合と過度なスムーシングに悩まされる。 本稿では,三重注意機構を組み込むことにより,これらの課題に対処するための新しい注意型GNNを提案する。
  論文  参考訳（メタデータ） (2020-07-14T07:43:09Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• Self-supervised Training of Graph Convolutional Networks [39.80867112204255]
  グラフ畳み込みネットワーク(GCN)は、非グリッドデータの解析に成功している。 本稿では,入力グラフ構造データ自体から利用可能な情報を活用するための2種類の自己教師型学習戦略を提案する。
  論文  参考訳（メタデータ） (2020-06-03T16:53:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。