論文の概要: Online Adversarial Distillation for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2112.13966v1
• Date: Tue, 28 Dec 2021 02:30:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-12-30 14:47:48.477136
• Title: Online Adversarial Distillation for Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークのオンライン逆蒸留
• Authors: Can Wang, Zhe Wang, Defang Chen, Sheng Zhou, Yan Feng, Chun Chen
• Abstract要約: 知識蒸留は畳み込みニューラルネットワークにおけるモデル一般化能力を改善する技術である。 本稿では,一群のグラフニューラルネットワークを学習するためのオンライン逆蒸留手法を提案する。
• 参考スコア（独自算出の注目度）: 40.746598033413086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation has recently become a popular technique to improve the model generalization ability on convolutional neural networks. However, its effect on graph neural networks is less than satisfactory since the graph topology and node attributes are likely to change in a dynamic way and in this case a static teacher model is insufficient in guiding student training. In this paper, we tackle this challenge by simultaneously training a group of graph neural networks in an online distillation fashion, where the group knowledge plays a role as a dynamic virtual teacher and the structure changes in graph neural networks are effectively captured. To improve the distillation performance, two types of knowledge are transferred among the students to enhance each other: local knowledge reflecting information in the graph topology and node attributes, and global knowledge reflecting the prediction over classes. We transfer the global knowledge with KL-divergence as the vanilla knowledge distillation does, while exploiting the complicated structure of the local knowledge with an efficient adversarial cyclic learning framework. Extensive experiments verified the effectiveness of our proposed online adversarial distillation approach.
• Abstract（参考訳）: 近年,畳み込みニューラルネットワークのモデル一般化能力を向上させる技術として,知識蒸留が普及している。 しかし、グラフトポロジーやノード属性が動的に変化する可能性があり、この場合、静的教師モデルでは学生トレーニングの指導が不十分であるため、グラフニューラルネットワークへの影響は満足できない。 本稿では,グループ知識が動的仮想教師としての役割を担い,グラフニューラルネットワークの構造変化を効果的に捉えるオンライン蒸留方式で,グラフニューラルネットワークのグループを同時に訓練することで,この問題に対処する。 蒸留性能を向上させるために, グラフトポロジとノード属性の情報を反映した局所知識と, クラス上での予測を反映したグローバル知識の2つの知識が相互に伝達される。 我々は,局所知識の複雑な構造を効率的な逆巡回学習フレームワークで活用しながら,バニラ知識蒸留と同じkl-divergenceでグローバル知識を伝達する。 大規模実験により, 提案手法の有効性が検証された。

関連論文リスト

• Adversarial Curriculum Graph-Free Knowledge Distillation for Graph Neural Networks [61.608453110751206]
  本稿では,グラフニューラルネットワークのための高速かつ高品質なデータフリー知識蒸留手法を提案する。 グラフフリーKD法(ACGKD)は擬似グラフの空間的複雑さを著しく低減する。 ACGKDは、生徒の次元を拡大することで、生徒と教師のモデル間の次元のあいまいさを取り除く。
  論文  参考訳（メタデータ） (2025-04-01T08:44:27Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Semantic Enhanced Knowledge Graph for Large-Scale Zero-Shot Learning [74.6485604326913]
  我々は、専門知識とカテゴリ意味相関の両方を含む新しい意味強化知識グラフを提供する。 知識グラフの情報伝達のために,Residual Graph Convolutional Network (ResGCN)を提案する。 大規模画像Net-21KデータセットとAWA2データセットを用いた実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-12-26T13:18:36Z)
• Geometric Knowledge Distillation: Topology Compression for Graph Neural Networks [80.8446673089281]
  グラフトポロジ情報をグラフニューラルネットワーク(GNN)に符号化することを目的とした知識伝達の新しいパラダイムについて検討する。 本稿では,GNNのアーキテクチャに関する基礎となる多様体の幾何学的性質をカプセル化するためのニューラルヒートカーネル(NHK)を提案する。 基本的な原理的解法は、NHKを幾何学的知識蒸留(Geometric Knowledge Distillation)と呼ばれる教師モデルと学生モデルに合わせることで導かれる。
  論文  参考訳（メタデータ） (2022-10-24T08:01:58Z)
• Dynamic Community Detection via Adversarial Temporal Graph Representation Learning [17.487265170798974]
  本研究では,脳ネットワークデータの少数のサンプルから動的コミュニティを検出するために,対角時間グラフ表現学習フレームワークを提案する。 さらに、このフレームワークは、時間グラフ表現の学習をガイドし、測定可能なモジュラリティ損失を最適化して、コミュニティのモジュラリティを最大化するために、敵対的なトレーニングを採用している。
  論文  参考訳（メタデータ） (2022-06-29T08:44:22Z)
• Compressing Deep Graph Neural Networks via Adversarial Knowledge Distillation [41.00398052556643]
  本稿では,GraphAKD というグラフモデルのための新しい知識蒸留フレームワークを提案する。 識別器は教師の知識と学生が継承するものを区別し、学生GNNはジェネレータとして働き、識別器を騙す。 その結果、GraphAKDは複雑な教師GNNからコンパクトな学生GNNに正確な知識を伝達できることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T00:04:43Z)
• Alignahead: Online Cross-Layer Knowledge Extraction on Graph Neural Networks [6.8080936803807734]
  グラフニューラルネットワーク(GNN)上の既存の知識蒸留手法はほとんどオフラインである。 本稿では,この問題を解決するための新しいオンライン知識蒸留フレームワークを提案する。 一方の学生層を別の学生モデルの異なる深さの層に整列させることにより, クロス層蒸留戦略を開発する。
  論文  参考訳（メタデータ） (2022-05-05T06:48:13Z)
• Investigating Transfer Learning in Graph Neural Networks [2.320417845168326]
  グラフニューラルネットワーク(GNN)は、グラフ空間で使用するように拡張することで、ディープラーニングモデルの成功に基づいて構築される。 トランスファーラーニングは、従来のディープラーニング問題に対して非常に成功している。 本研究は,トランスファーラーニングがGNNに有効であることを示し,ソースタスクとGNNの選択が一般化可能な知識を学習する能力にどのように影響するかを説明する。
  論文  参考訳（メタデータ） (2022-02-01T20:33:15Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Being Friends Instead of Adversaries: Deep Networks Learn from Data Simplified by Other Networks [23.886422706697882]
  フレンドリートレーニング(Friendly Training)は、自動的に推定される摂動を追加することで入力データを変更するものである。 本稿では,ニューラルネットワークの有効性に触発されて,このアイデアを再考し,拡張する。 本稿では,入力データの変更に責任を負う補助的な多層ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-12-18T16:59:35Z)
• Learning through structure: towards deep neuromorphic knowledge graph embeddings [0.5906031288935515]
  本稿では,知識グラフ推論のための深層グラフ学習アーキテクチャをニューロモルフィックアーキテクチャにマッピングする戦略を提案する。 ランダムかつ未学習のグラフニューラルネットワークが局所的なグラフ構造を保存することができるという知見に基づいて、凍結したニューラルネットワークの浅い知識グラフ埋め込みモデルを構成する。 我々は,従来型のハードウェア上では,性能水準を維持しながら,高速化とメモリの大幅な削減を実現していることを示す。
  論文  参考訳（メタデータ） (2021-09-21T18:01:04Z)
• ROD: Reception-aware Online Distillation for Sparse Graphs [23.55530524584572]
  疎グラフ学習のための新しいレセプション対応オンライン知識蒸留手法 ROD を提案する。 RODのための3つの監視信号: マルチスケールの受信対応グラフ知識、タスクベース監視、豊富な蒸留知識。 我々のアプローチは9つのデータセットと様々なグラフベースのタスクで広く評価されている。
  論文  参考訳（メタデータ） (2021-07-25T11:55:47Z)
• Knowledge Distillation in Wide Neural Networks: Risk Bound, Data Efficiency and Imperfect Teacher [40.74624021934218]
  知識蒸留は、教師ネットワークからのソフトアウトプットのガイドで学生ネットワークを訓練する戦略である。 ニューラル・タンジェント・カーネルの最近の発見により、ネットワークのランダムな特徴の線形モデルを用いて、広いニューラルネットワークを近似することができる。
  論文  参考訳（メタデータ） (2020-10-20T07:33:21Z)
• A Heterogeneous Graph with Factual, Temporal and Logical Knowledge for Question Answering Over Dynamic Contexts [81.4757750425247]
  動的テキスト環境における質問応答について検討する。 構築したグラフ上にグラフニューラルネットワークを構築し,エンドツーエンドでモデルをトレーニングする。
  論文  参考訳（メタデータ） (2020-04-25T04:53:54Z)
• Distilling Knowledge from Graph Convolutional Networks [146.71503336770886]
  既存の知識蒸留法は畳み込みニューラルネットワーク(CNN)に焦点を当てている 本稿では,事前学習したグラフ畳み込みネットワーク(GCN)モデルから知識を抽出する手法を提案する。 提案手法は,GCNモデルに対する最先端の知識蒸留性能を実現する。
  論文  参考訳（メタデータ） (2020-03-23T18:23:11Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。