論文の概要: Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification

• arxiv url: http://arxiv.org/abs/2001.01536v3
• Date: Mon, 21 Sep 2020 02:44:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-14 01:50:43.921905
• Title: Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification
• Title（参考訳）: 複数の専門家から学ぶ:ロングテール分類のためのセルフペースド知識蒸留
• Authors: Liuyu Xiang, Guiguang Ding and Jungong Han
• Abstract要約: 我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 106.08067870620218
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In real-world scenarios, data tends to exhibit a long-tailed distribution, which increases the difficulty of training deep networks. In this paper, we propose a novel self-paced knowledge distillation framework, termed Learning From Multiple Experts (LFME). Our method is inspired by the observation that networks trained on less imbalanced subsets of the distribution often yield better performances than their jointly-trained counterparts. We refer to these models as 'Experts', and the proposed LFME framework aggregates the knowledge from multiple 'Experts' to learn a unified student model. Specifically, the proposed framework involves two levels of adaptive learning schedules: Self-paced Expert Selection and Curriculum Instance Selection, so that the knowledge is adaptively transferred to the 'Student'. We conduct extensive experiments and demonstrate that our method is able to achieve superior performances compared to state-of-the-art methods. We also show that our method can be easily plugged into state-of-the-art long-tailed classification algorithms for further improvements.
• Abstract（参考訳）: 現実のシナリオでは、データはロングテールの分布を示す傾向があるため、ディープネットワークのトレーニングが困難になる。 本稿では,複数専門家による学習(lfme)という,新しい自己ペースの知識蒸留フレームワークを提案する。 本手法は,分散の非バランスな部分集合でトレーニングされたネットワークが,共同学習したネットワークよりも優れた性能が得られるという観察に着想を得たものである。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 具体的には,自己評価型エキスパート選択とカリキュラムインスタンス選択という2段階の適応型学習スケジュールが提案され,その知識が「学習者」に適応的に伝達される。 我々は,本手法が最先端手法に比べて優れた性能を達成できることを実証し,広範な実験を行った。 また,本手法を最先端のロングテール分類アルゴリズムに容易に組み込むことにより,さらなる改良が期待できることを示す。

関連論文リスト

• Deep Boosting Learning: A Brand-new Cooperative Approach for Image-Text Matching [53.05954114863596]
  画像テキストマッチングのための新しいDeep Boosting Learning (DBL)アルゴリズムを提案する。 アンカーブランチは、まずデータプロパティに関する洞察を提供するために訓練される。 ターゲットブランチは、一致したサンプルと未一致のサンプルとの相対距離をさらに拡大するために、より適応的なマージン制約を同時に課される。
  論文  参考訳（メタデータ） (2024-04-28T08:44:28Z)
• Reinforcement Learning Based Multi-modal Feature Fusion Network for Novel Class Discovery [47.28191501836041]
  本稿では,人間の認知過程をシミュレートするために強化学習フレームワークを用いる。 また,マルチモーダル情報から特徴を抽出・融合するマルチエージェントフレームワークをデプロイした。 我々は、OS-MN40、OS-MN40-Miss、Cifar10データセットを用いて、3Dドメインと2Dドメインの両方でのアプローチの性能を示す。
  論文  参考訳（メタデータ） (2023-08-26T07:55:32Z)
• Propheter: Prophetic Teacher Guided Long-Tailed Distribution Learning [44.947984354108094]
  本稿では,より深いネットワークの学習を外部の事前知識で導くことによってボトルネックを突破する,革新的なロングテール学習パラダイムを提案する。 提案された予言的パラダイムは、長い尾のデータセットにおける限られたクラス知識の挑戦に対する有望な解決策として機能する。
  論文  参考訳（メタデータ） (2023-04-09T02:02:19Z)
• Learning to Retain while Acquiring: Combating Distribution-Shift in Adversarial Data-Free Knowledge Distillation [31.294947552032088]
  データフリーな知識蒸留(DFKD)は、教師から学生ニューラルネットワークへの知識伝達を、訓練データがない状態で行うという基本的な考え方により、近年人気を集めている。 本稿では,メタトレインとメタテストとして,知識獲得(新たに生成されたサンプルからの学習)と知識保持(以前に得られたサンプルの知識の保持)の課題を取り扱うことで,メタ学習にインスパイアされたフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-28T03:50:56Z)
• Semi-supervised Semantic Segmentation with Mutual Knowledge Distillation [20.741353967123366]
  相互知識蒸留(MKD)と呼ばれる新しい整合正則化フレームワークを提案する。 我々は,教師が生み出した擬似ラベルを用いて,学生ネットワークを監督し,両者の相互知識の蒸留を実現する。 我々のフレームワークは、様々な半教師付き環境下で、従来の最先端(SOTA)メソッドよりも優れています。
  論文  参考訳（メタデータ） (2022-08-24T12:47:58Z)
• Guided Deep Metric Learning [0.9786690381850356]
  我々は、ガイドドディープメトリックラーニングと呼ばれる新しいDML手法を提案する。 提案手法は、最大40%の改善まで、より優れた多様体の一般化と表現が可能である。
  論文  参考訳（メタデータ） (2022-06-04T17:34:11Z)
• Class-Balanced Distillation for Long-Tailed Visual Recognition [100.10293372607222]
  実世界のイメージはしばしばクラスごとの画像数の著しい不均衡によって特徴づけられ、ロングテール分布に繋がる。 本研究では、インスタンスサンプリングで学習した特徴表現が長尾設定では最適とは程遠いという重要な観察を行うことで、新しいフレームワークを提案する。 我々の主な貢献は、知識蒸留を利用して特徴表現を強化する新しい訓練方法である。
  論文  参考訳（メタデータ） (2021-04-12T08:21:03Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)
• Transfer Heterogeneous Knowledge Among Peer-to-Peer Teammates: A Model Distillation Approach [55.83558520598304]
  本研究は, モデル蒸留により, 複数の学生間で経験と伝達値関数を再利用する新しい手法を提案する。 また、異種知識を活用するための効率的な通信プロトコルの設計方法について述べる。 提案するフレームワークである学習・指導カテゴリー強化は,学習の進捗を安定化・加速する上で有望な性能を示す。
  論文  参考訳（メタデータ） (2020-02-06T11:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。