論文の概要: Multi-task Self-distillation for Graph-based Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2112.01174v1
• Date: Thu, 2 Dec 2021 12:43:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-03 16:55:30.693142
• Title: Multi-task Self-distillation for Graph-based Semi-Supervised Learning
• Title（参考訳）: グラフに基づく半教師付き学習のためのマルチタスク自己蒸留
• Authors: Yating Ren and Junzhong Ji and Lingfeng Niu and Minglong Lei
• Abstract要約: 本稿では,グラフ畳み込みネットワークに自己教師付き学習と自己蒸留を注入するマルチタスク自己蒸留フレームワークを提案する。 まず、プレテキストタスクに基づいて自己超越パイプラインを定式化し、グラフの異なるレベルの類似性をキャプチャする。 第二に、自己蒸留はモデル自体のソフトラベルを追加の監督として使用する。
• 参考スコア（独自算出の注目度）: 6.277952154365413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph convolutional networks have made great progress in graph-based semi-supervised learning. Existing methods mainly assume that nodes connected by graph edges are prone to have similar attributes and labels, so that the features smoothed by local graph structures can reveal the class similarities. However, there often exist mismatches between graph structures and labels in many real-world scenarios, where the structures may propagate misleading features or labels that eventually affect the model performance. In this paper, we propose a multi-task self-distillation framework that injects self-supervised learning and self-distillation into graph convolutional networks to separately address the mismatch problem from the structure side and the label side. First, we formulate a self-supervision pipeline based on pre-text tasks to capture different levels of similarities in graphs. The feature extraction process is encouraged to capture more complex proximity by jointly optimizing the pre-text task and the target task. Consequently, the local feature aggregations are improved from the structure side. Second, self-distillation uses soft labels of the model itself as additional supervision, which has similar effects as label smoothing. The knowledge from the classification pipeline and the self-supervision pipeline is collectively distilled to improve the generalization ability of the model from the label side. Experiment results show that the proposed method obtains remarkable performance gains under several classic graph convolutional architectures.
• Abstract（参考訳）: グラフ畳み込みネットワークは、グラフに基づく半教師付き学習において大きな進歩を遂げた。 既存の手法では、グラフエッジで接続されたノードは類似した属性やラベルを持つ傾向があるため、局所グラフ構造によって滑らかな特徴がクラス類似性を明らかにすることができる。 しかし、多くの実世界のシナリオでは、グラフ構造とラベルの間にミスマッチが存在し、そこでは構造が最終的にモデルのパフォーマンスに影響を与える誤解を招く特徴やラベルを伝播する。 本稿では,グラフ畳み込みネットワークに自己教師あり学習と自己蒸留を注入し,構造側とラベル側とのミスマッチ問題に別々に対処できるマルチタスク自己蒸留フレームワークを提案する。 まず,前文タスクに基づく自己スーパービジョンパイプラインを定式化し,グラフの類似度の異なるレベルをキャプチャする。 特徴抽出プロセスは、プリテキストタスクとターゲットタスクを協調的に最適化することにより、より複雑な近接を捉えることを奨励する。 これにより、構造側から局所的な特徴集約が改善される。 第二に、自己蒸留はモデル自体のソフトラベルを追加監督として使用し、ラベルの平滑化と同様の効果を持つ。 分類パイプラインと自己超越パイプラインからの知識を総合的に蒸留し、ラベル側からモデルの一般化能力を向上させる。 実験の結果,提案手法はいくつかの古典的グラフ畳み込みアーキテクチャにおいて顕著な性能向上が得られることがわかった。

関連論文リスト

• Contrastive Learning for Non-Local Graphs with Multi-Resolution Structural Views [1.4445779250002606]
  本稿では,グラフ上の拡散フィルタを統合する新しい多視点コントラスト学習手法を提案する。 複数のグラフビューを拡張として組み込むことで、異種グラフの構造的等価性を捉える。
  論文  参考訳（メタデータ） (2023-08-19T17:42:02Z)
• You Only Transfer What You Share: Intersection-Induced Graph Transfer Learning for Link Prediction [79.15394378571132]
  従来見過ごされていた現象を調査し、多くの場合、元のグラフに対して密に連結された補グラフを見つけることができる。 より密度の高いグラフは、選択的で有意義な知識を伝達するための自然なブリッジを提供する元のグラフとノードを共有することができる。 この設定をグラフインターセクション誘導トランスファーラーニング(GITL)とみなし,eコマースや学術共同オーサシップ予測の実践的応用に動機づけられた。
  論文  参考訳（メタデータ） (2023-02-27T22:56:06Z)
• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
  トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。 私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。 さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
  論文  参考訳（メタデータ） (2022-06-23T20:12:51Z)
• CGMN: A Contrastive Graph Matching Network for Self-Supervised Graph Similarity Learning [65.1042892570989]
  自己教師付きグラフ類似性学習のためのコントラストグラフマッチングネットワーク(CGMN)を提案する。 我々は,効率的なノード表現学習のために,クロスビューインタラクションとクロスグラフインタラクションという2つの戦略を用いる。 我々はノード表現をグラフ類似性計算のためのプール演算によりグラフレベル表現に変換する。
  論文  参考訳（メタデータ） (2022-05-30T13:20:26Z)
• Joint Graph Learning and Matching for Semantic Feature Correspondence [69.71998282148762]
  本稿では,グラフマッチングを向上するための信頼度の高いグラフ構造を探索するために,GLAMという共用電子グラフ学習とマッチングネットワークを提案する。 提案手法は,3つの人気ビジュアルマッチングベンチマーク (Pascal VOC, Willow Object, SPair-71k) で評価される。 すべてのベンチマークにおいて、従来の最先端のグラフマッチング手法よりも大きなマージンを達成している。
  論文  参考訳（メタデータ） (2021-09-01T08:24:02Z)
• Self-supervised Graph-level Representation Learning with Local and Global Structure [71.45196938842608]
  自己教師付き全グラフ表現学習のためのローカル・インスタンスとグローバル・セマンティック・ラーニング(GraphLoG)という統合フレームワークを提案する。 GraphLoGは、局所的な類似点の保存に加えて、グローバルなセマンティッククラスタをキャプチャする階層的なプロトタイプも導入している。 モデル学習のための効率的なオンライン予測最大化(EM)アルゴリズムがさらに開発された。
  論文  参考訳（メタデータ） (2021-06-08T05:25:38Z)
• Hierarchical Adaptive Pooling by Capturing High-order Dependency for Graph Representation Learning [18.423192209359158]
  グラフニューラルネットワーク(GNN)はノードレベルのグラフ表現学習タスクでグラフ構造化データを扱うのに十分成熟していることが証明されている。 本稿では,グラフ構造に適応する階層型グラフレベルの表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-13T06:22:24Z)
• Sub-graph Contrast for Scalable Self-Supervised Graph Representation Learning [21.0019144298605]
  既存のグラフニューラルネットワークは、計算量やメモリコストが限られているため、完全なグラフデータで供給される。 textscSubg-Conは、中央ノードとそのサンプルサブグラフ間の強い相関を利用して、地域構造情報をキャプチャすることで提案される。 既存のグラフ表現学習アプローチと比較して、textscSubg-Conは、より弱い監視要件、モデル学習のスケーラビリティ、並列化において、顕著なパフォーマンス上のアドバンテージを持っています。
  論文  参考訳（メタデータ） (2020-09-22T01:58:19Z)
• Affinity Graph Supervision for Visual Recognition [35.35959846458965]
  親和性グラフにおける重みの学習を指導する原理的手法を提案する。 我々の親和性監視は、手動でアノテートされた関係ラベルがなくても、オブジェクト間の関係回復を改善する。 我々は、ニューラルネットワークトレーニングのために、ミニバッチから構築されたグラフにも親和性学習を適用することができることを示した。
  論文  参考訳（メタデータ） (2020-03-19T23:52:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。