論文の概要: Distilling Holistic Knowledge with Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2108.05507v1
• Date: Thu, 12 Aug 2021 02:47:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-13 14:36:47.573407
• Title: Distilling Holistic Knowledge with Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークによるホロスティック知識の蒸留
• Authors: Sheng Zhou, Yucheng Wang, Defang Chen, Jiawei Chen, Xin Wang, Can Wang, Jiajun Bu
• Abstract要約: 知識蒸留(KD)は、より大規模な教師ネットワークからより小さな学習可能な学生ネットワークへ知識を伝達することを目的としている。 既存のKD法は主に、個々の知識と関係知識の2つの種類の知識を考察してきた。 本稿では, インスタンス間に構築された属性グラフに基づいて, 新たな包括的知識を蒸留する。
• 参考スコア（独自算出の注目度）: 37.86539695906857
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Distillation (KD) aims at transferring knowledge from a larger well-optimized teacher network to a smaller learnable student network.Existing KD methods have mainly considered two types of knowledge, namely the individual knowledge and the relational knowledge. However, these two types of knowledge are usually modeled independently while the inherent correlations between them are largely ignored. It is critical for sufficient student network learning to integrate both individual knowledge and relational knowledge while reserving their inherent correlation. In this paper, we propose to distill the novel holistic knowledge based on an attributed graph constructed among instances. The holistic knowledge is represented as a unified graph-based embedding by aggregating individual knowledge from relational neighborhood samples with graph neural networks, the student network is learned by distilling the holistic knowledge in a contrastive manner. Extensive experiments and ablation studies are conducted on benchmark datasets, the results demonstrate the effectiveness of the proposed method. The code has been published in https://github.com/wyc-ruiker/HKD
• Abstract（参考訳）: 知識蒸留(KD)は,より大規模に最適化された教師ネットワークからより小規模な学習可能な学生ネットワークへ知識を伝達することを目的としている。 しかし、これらの2つのタイプの知識は通常独立してモデル化されるが、それら間の固有の相関はほとんど無視される。 学生のネットワーク学習において,個々の知識と関係知識を一体化し,その関係性を維持することが重要である。 本稿では,インスタンス間に構築された属性グラフに基づいて,新しい包括的知識を蒸留することを提案する。 全体的知識は,グラフニューラルネットワークを用いた関係近傍のサンプルから個々の知識を集約することにより,統一的なグラフベース埋め込みとして表現される。 提案手法の有効性について, ベンチマークデータセットを用いて実験およびアブレーション実験を行った。 コードはhttps://github.com/wyc-ruiker/HKDで公開されている。

関連論文リスト

• Leveraging Pedagogical Theories to Understand Student Learning Process with Graph-based Reasonable Knowledge Tracing [11.082908318943248]
  本稿では,これらの問題に対処するためのグラフベースの合理的知識追跡手法GRKTを紹介する。 本稿では,知識検索,記憶強化,知識学習・鍛造の3段階モデリングプロセスを提案する。
  論文  参考訳（メタデータ） (2024-06-07T10:14:30Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• A Closer Look at Knowledge Distillation with Features, Logits, and Gradients [81.39206923719455]
  知識蒸留(KD)は、学習した知識をあるニューラルネットワークモデルから別のニューラルネットワークモデルに転送するための重要な戦略である。 この研究は、古典的なKL分割基準を異なる知識源で近似することで、一連の知識蒸留戦略を動機付ける新しい視点を提供する。 分析の結果,ロジットは一般的により効率的な知識源であり,十分な特徴次元を持つことがモデル設計に不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2022-03-18T21:26:55Z)
• Deep Ensemble Collaborative Learning by using Knowledge-transfer Graph for Fine-grained Object Classification [9.49864824780503]
  相互学習を施したネットワークのアンサンブルのパフォーマンスは,通常のアンサンブルに比べて,相互学習なしには改善しない。 これは相互学習における知識とアンサンブルにおけるネットワークの個性の関係によるものかもしれない。 本稿では,相互学習におけるネットワーク間の多様性を促進する損失設計を導入することにより,知識伝達を用いたアンサンブル手法を提案する。
  論文  参考訳（メタデータ） (2021-03-27T08:56:00Z)
• Towards a Universal Continuous Knowledge Base [49.95342223987143]
  複数のニューラルネットワークからインポートされた知識を格納できる継続的知識基盤を構築する方法を提案する。 テキスト分類実験は有望な結果を示す。 我々は複数のモデルから知識ベースに知識をインポートし、そこから融合した知識を単一のモデルにエクスポートする。
  論文  参考訳（メタデータ） (2020-12-25T12:27:44Z)
• Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning [93.18238573921629]
  本研究では,学習モデルのアンサンブルがテスト精度を向上させる方法と,アンサンブルの優れた性能を単一モデルに蒸留する方法について検討する。 深層学習におけるアンサンブル/知識蒸留は,従来の学習理論とは大きく異なる。 また, 自己蒸留は, アンサンブルと知識蒸留を暗黙的に組み合わせて, 試験精度を向上させることができることを示した。
  論文  参考訳（メタデータ） (2020-12-17T18:34:45Z)
• Multi-level Knowledge Distillation [13.71183256776644]
  教師から学生ネットワークへより豊かな表現的知識を伝達するために,MLKD(Multi-level Knowledge Distillation)を導入する。 MLKDは、個人類似性、関係類似性、カテゴリー類似性という3つの新しい教師-学生類似性を採用している。 実験により、MLKDは同様のアーキテクチャタスクとクロスアーキテクチャタスクの両方において、他の最先端メソッドよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-12-01T15:27:15Z)
• Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs [96.73259297063619]
  我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。 新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。 我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
  論文  参考訳（メタデータ） (2020-01-08T01:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。