論文の概要: Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment

• arxiv url: http://arxiv.org/abs/2211.13264v1
• Date: Wed, 23 Nov 2022 19:27:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 15:15:40.494432
• Title: Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment
• Title（参考訳）: グラフアライメント埋め込みによる教師の学習
• Authors: Yuchen Ma, Yanbei Chen, Zeynep Akata
• Abstract要約: 我々は、自己指導型事前学習モデルから他の学生ネットワークへ知識を伝達するための新しい知識蒸留フレームワークを定式化した。 自己教師型学習におけるインスタンス識別の精神に触発され,特徴埋め込み空間におけるグラフ定式化によるインスタンスとインスタンスの関係をモデル化する。 蒸留方式は, 学生ネットワーク上での表現学習を促進するために, 自己指導型知識の伝達に柔軟に適用できる。
• 参考スコア（独自算出の注目度）: 52.704331909850026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances have indicated the strengths of self-supervised pre-training for improving representation learning on downstream tasks. Existing works often utilize self-supervised pre-trained models by fine-tuning on downstream tasks. However, fine-tuning does not generalize to the case when one needs to build a customized model architecture different from the self-supervised model. In this work, we formulate a new knowledge distillation framework to transfer the knowledge from self-supervised pre-trained models to any other student network by a novel approach named Embedding Graph Alignment. Specifically, inspired by the spirit of instance discrimination in self-supervised learning, we model the instance-instance relations by a graph formulation in the feature embedding space and distill the self-supervised teacher knowledge to a student network by aligning the teacher graph and the student graph. Our distillation scheme can be flexibly applied to transfer the self-supervised knowledge to enhance representation learning on various student networks. We demonstrate that our model outperforms multiple representative knowledge distillation methods on three benchmark datasets, including CIFAR100, STL10, and TinyImageNet. Code is here: https://github.com/yccm/EGA.
• Abstract（参考訳）: 近年の進歩は、下流タスクにおける表現学習を改善するための自己指導型事前学習の強みを示している。 既存の作業は、下流のタスクを微調整することで、自己教師付き事前訓練モデルを利用することが多い。 しかし、微調整は、自己管理モデルとは異なるカスタマイズされたモデルアーキテクチャを構築する必要がある場合に一般化しない。 本研究では,自己指導型事前学習モデルから他の学生ネットワークに知識を伝達するための新しい知識蒸留フレームワークを,埋め込みグラフアライメントという新しいアプローチにより定式化した。 具体的には、自己教師型学習におけるインスタンス識別の精神に触発され、特徴埋め込み空間におけるグラフ定式化によるインスタンス-インスタンス関係をモデル化し、教師グラフと学生グラフを整列させて教師ネットワークに自己教師型教師知識を蒸留する。 蒸留方式は, 学生ネットワーク上での表現学習を促進するために, 自己指導型知識の伝達に柔軟に適用できる。 CIFAR100, STL10, TinyImageNetを含む3つのベンチマークデータセットにおいて, 本モデルが複数の代表的知識蒸留法より優れていることを示す。 コードはこちら。 https://github.com/yccm/EGA。

関連論文リスト

• Variational Graph Auto-Encoder Based Inductive Learning Method for Semi-Supervised Classification [10.497590357666114]
  帰納的グラフ表現学習のための自己ラベル拡張VGAEモデルを提案する。 学習にラベル情報を活用するため,本モデルではノードラベルをワンホット符号化入力とし,モデルトレーニングにおいてラベル再構成を行う。 提案したモデルアーカイブは、セミ教師付き学習環境下でのノード分類において、特に優越する結果を約束する。
  論文  参考訳（メタデータ） (2024-03-26T08:59:37Z)
• DreamTeacher: Pretraining Image Backbones with Deep Generative Models [103.62397699392346]
  本稿では、下流画像バックボーンの事前学習に生成ネットワークを利用する自己教師付き特徴表現学習フレームワークを提案する。 1)画像Netなどの大規模ラベル付きデータセット上で,これらのバックボーンを事前学習する代替として,学習した生成特徴を対象画像のバックボーンに蒸留する。 私たちのDreamTeacherは、ボード全体で既存の自己指導型表現学習のアプローチを大幅に上回っていることを実証的に見出した。
  論文  参考訳（メタデータ） (2023-07-14T17:17:17Z)
• Frameless Graph Knowledge Distillation [27.831929635701886]
  教師が提供したグラフ知識は,代数と幾何学の両方を通して学生モデルによって学習され,消化されるかを示す。 提案モデルでは,推論の高速化を維持しながら,教師モデルと同一あるいはそれ以上の学習精度を生成できる。
  論文  参考訳（メタデータ） (2023-07-13T08:56:50Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Alignahead: Online Cross-Layer Knowledge Extraction on Graph Neural Networks [6.8080936803807734]
  グラフニューラルネットワーク(GNN)上の既存の知識蒸留手法はほとんどオフラインである。 本稿では,この問題を解決するための新しいオンライン知識蒸留フレームワークを提案する。 一方の学生層を別の学生モデルの異なる深さの層に整列させることにより, クロス層蒸留戦略を開発する。
  論文  参考訳（メタデータ） (2022-05-05T06:48:13Z)
• Distill on the Go: Online knowledge distillation in self-supervised learning [1.1470070927586016]
  最近の研究では、より広範でより深いモデルは、小さなモデルよりも自己監督学習の恩恵を受けることが示されている。 単段階オンライン知識蒸留を用いた自己指導型学習パラダイムであるDistill-on-the-Go(DoGo)を提案する。 以上の結果から,ノイズラベルや限定ラベルの存在下でのパフォーマンス向上がみられた。
  論文  参考訳（メタデータ） (2021-04-20T09:59:23Z)
• Iterative Graph Self-Distillation [161.04351580382078]
  我々は、IGSD(Iterative Graph Self-Distillation)と呼ばれる新しい教師なしグラフ学習パラダイムを提案する。 IGSDは、グラフ拡張による教師/学生の蒸留を反復的に行う。 我々は,教師なしと半教師なしの両方の設定において,さまざまなグラフデータセットに対して,有意かつ一貫したパフォーマンス向上を実現していることを示す。
  論文  参考訳（メタデータ） (2020-10-23T18:37:06Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)
• Distilling Knowledge from Graph Convolutional Networks [146.71503336770886]
  既存の知識蒸留法は畳み込みニューラルネットワーク(CNN)に焦点を当てている 本稿では,事前学習したグラフ畳み込みネットワーク(GCN)モデルから知識を抽出する手法を提案する。 提案手法は,GCNモデルに対する最先端の知識蒸留性能を実現する。
  論文  参考訳（メタデータ） (2020-03-23T18:23:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。