論文の概要: Mapping Emulation for Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2205.10490v1
- Date: Sat, 21 May 2022 02:38:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-24 14:18:26.752446
- Title: Mapping Emulation for Knowledge Distillation
- Title(参考訳): 知識蒸留のためのマッピングエミュレーション
- Authors: Jing Ma, Xiang Xiang, Zihan Zhang, Yuwen Tan, Yiming Wan, Zhigang
Zeng, Dacheng Tao
- Abstract要約: 本稿では,フェデレーション学習に不可欠なソース・ブラインド知識蒸留問題の定式化を行う。
新しいアーキテクチャMEKDを提案する。
様々なベンチマークにおいて、MEKDは既存のソースブレンドKD法より優れている。
- 参考スコア(独自算出の注目度): 94.20630785525732
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper formalizes the source-blind knowledge distillation problem that is
essential to federated learning. A new geometric perspective is presented to
view such a problem as aligning generated distributions between the teacher and
student. With its guidance, a new architecture MEKD is proposed to emulate the
inverse mapping through generative adversarial training. Unlike mimicking
logits and aligning logit distributions, reconstructing the mapping from
classifier-logits has a geometric intuition of decreasing empirical distances,
and theoretical guarantees using the universal function approximation and
optimal mass transportation theories. A new algorithm is also proposed to train
the student model that reaches the teacher's performance source-blindly. On
various benchmarks, MEKD outperforms existing source-blind KD methods,
explainable with ablation studies and visualized results.
- Abstract(参考訳): 本稿では, 連関学習に欠かせない情報源盲点の知識蒸留問題を定式化する。
教師と生徒の間に生成された分布を整合させるような,新たな幾何学的視点が提示される。
新たなアーキテクチャMEKDが提案され, 生成的対角学習による逆写像をエミュレートする。
ロジットの模倣やロジット分布の整列とは異なり、分類器-ロジットからの写像の再構成は経験的距離を減少させる幾何学的直観を持ち、普遍関数近似と最適質量輸送理論を用いて理論的に保証される。
また,教師のパフォーマンス源となる学生モデルを学習するための新しいアルゴリズムも提案されている。
様々なベンチマークにおいて、MEKDは既存のソースブレンドKD法よりも優れており、アブレーション研究と視覚化結果で説明できる。
関連論文リスト
- Geometric Prior Guided Feature Representation Learning for Long-Tailed
Classification [49.90107582624604]
そこで,本論文では,よく表現されたヘッドクラスの特徴分布の幾何学的情報を活用し,モデルにテールクラスの基盤となる分布を学習させる手法を提案する。
パータード機能は、可能な限りテールクラスの基盤となる分布をカバーし、テスト領域におけるモデルの一般化性能を向上させることを目的としている。
論文 参考訳(メタデータ) (2024-01-21T09:16:29Z) - Rethinking Dimensional Rationale in Graph Contrastive Learning from
Causal Perspective [16.066514257857914]
グラフコントラスト学習(Graph contrastive learning)は、グラフの様々な摂動から不変情報を捉えるのに優れた一般的な学習パラダイムである。
最近の研究は、グラフから構造的理性を探究することに集中し、不変情報の識別可能性を高める。
本稿では,学習可能な次元理性獲得ネットワークと冗長性低減制約を導入した,次元理性対応グラフコントラスト学習手法を提案する。
論文 参考訳(メタデータ) (2023-12-16T10:05:18Z) - AICSD: Adaptive Inter-Class Similarity Distillation for Semantic
Segmentation [12.92102548320001]
本稿では,知識蒸留を目的としたICSD (Inter-Class similarity Distillation) を提案する。
提案手法は,教師ネットワークから生徒ネットワークへの高次関係を,ネットワーク出力から各クラス毎のクラス内分布を独立に計算することによって伝達する。
セマンティックセグメンテーションのためのよく知られた2つのデータセットであるCityscapesとPascal VOC 2012の実験により、提案手法の有効性が検証された。
論文 参考訳(メタデータ) (2023-08-08T13:17:20Z) - EmbedDistill: A Geometric Knowledge Distillation for Information
Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する
本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。
提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95~97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文 参考訳(メタデータ) (2023-01-27T22:04:37Z) - Task-Free Continual Learning via Online Discrepancy Distance Learning [11.540150938141034]
本稿では,来訪したサンプルとモデルトレーニングに利用可能な情報全体との差分距離に基づく一般化境界を提供する,新しい理論解析フレームワークを開発する。
この理論モデルに着想を得て,混合モデルに対する動的成分展開機構,すなわちオンライン離散距離学習(ODDL)によって実現された新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-10-12T20:44:09Z) - OCTAve: 2D en face Optical Coherence Tomography Angiography Vessel
Segmentation in Weakly-Supervised Learning with Locality Augmentation [14.322349196837209]
画素レベルのアノテーションを自動化するために,スクリブルベースの弱教師付き学習手法を提案する。
OCTAveと呼ばれる本提案手法は,スクリブルアノテートによる弱教師付き学習と,敵意と自己監督型自己監督型深層学習を組み合わせたものである。
論文 参考訳(メタデータ) (2022-07-25T14:40:56Z) - Weakly Supervised Semantic Segmentation via Alternative Self-Dual
Teaching [82.71578668091914]
本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。
本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
論文 参考訳(メタデータ) (2021-12-17T11:56:56Z) - Multi-head Knowledge Distillation for Model Compression [65.58705111863814]
そこで本研究では,中間層における特徴マッチングのための補助分類器を用いた簡易実装法を提案する。
提案手法は,本論文で提示された従来手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-12-05T00:49:14Z) - Distilling Knowledge from Graph Convolutional Networks [146.71503336770886]
既存の知識蒸留法は畳み込みニューラルネットワーク(CNN)に焦点を当てている
本稿では,事前学習したグラフ畳み込みネットワーク(GCN)モデルから知識を抽出する手法を提案する。
提案手法は,GCNモデルに対する最先端の知識蒸留性能を実現する。
論文 参考訳(メタデータ) (2020-03-23T18:23:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。