論文の概要: MDCS: More Diverse Experts with Consistency Self-distillation for Long-tailed Recognition

• arxiv url: http://arxiv.org/abs/2308.09922v1
• Date: Sat, 19 Aug 2023 06:21:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 18:57:26.860275
• Title: MDCS: More Diverse Experts with Consistency Self-distillation for Long-tailed Recognition
• Title（参考訳）: MDCS:長距離認識のための一貫性自己蒸留法
• Authors: Qihao Zhao and Chen Jiang and Wei Hu and Fan Zhang and Jun Liu
• Abstract要約: 本稿では,従来手法が残っていたギャップを埋めるために,MDCS (Consistency Self-distillation) を用いた多種多様な専門家を提案する。 MDCSのアプローチは,2つの中核的コンポーネント – 多様性損失(DL)と一貫性自己蒸留(CS) – から構成される。
• 参考スコア（独自算出の注目度）: 14.998014782981663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, multi-expert methods have led to significant improvements in long-tail recognition (LTR). We summarize two aspects that need further enhancement to contribute to LTR boosting: (1) More diverse experts; (2) Lower model variance. However, the previous methods didn't handle them well. To this end, we propose More Diverse experts with Consistency Self-distillation (MDCS) to bridge the gap left by earlier methods. Our MDCS approach consists of two core components: Diversity Loss (DL) and Consistency Self-distillation (CS). In detail, DL promotes diversity among experts by controlling their focus on different categories. To reduce the model variance, we employ KL divergence to distill the richer knowledge of weakly augmented instances for the experts' self-distillation. In particular, we design Confident Instance Sampling (CIS) to select the correctly classified instances for CS to avoid biased/noisy knowledge. In the analysis and ablation study, we demonstrate that our method compared with previous work can effectively increase the diversity of experts, significantly reduce the variance of the model, and improve recognition accuracy. Moreover, the roles of our DL and CS are mutually reinforcing and coupled: the diversity of experts benefits from the CS, and the CS cannot achieve remarkable results without the DL. Experiments show our MDCS outperforms the state-of-the-art by 1% $\sim$ 2% on five popular long-tailed benchmarks, including CIFAR10-LT, CIFAR100-LT, ImageNet-LT, Places-LT, and iNaturalist 2018. The code is available at https://github.com/fistyee/MDCS.
• Abstract（参考訳）: 近年,マルチエキスパート手法によりLTR(Long-tail Recognition)が大幅に改善されている。 我々は,LTRの促進に寄与するためにさらなる強化を必要とする2つの側面を要約する:(1)より多様な専門家,(2)モデル分散の低減。 しかし、以前の方法ではうまく処理できなかった。 そこで本稿では,従来手法が残っていたギャップを埋めるために,MDCS(Consistency Self-distillation)を用いた多種多様な専門家を提案する。 MDCSアプローチは,多様性損失(DL)と一貫性自己蒸留(CS)の2つのコアコンポーネントから構成される。 詳細は、DLは異なるカテゴリーに焦点を絞ることで、専門家間の多様性を促進する。 モデルの分散を減らすために,我々はklダイバージェンスを用いて,専門家の自己蒸留に対する弱い拡張インスタンスのより豊かな知識を蒸留する。 特に,信頼度の高いインスタンスサンプリング(cis)を設計,バイアスやノイズの少ない知識を避けるために,正しく分類されたcsのインスタンスを選択する。 分析・アブレーション研究では,従来の手法と比較して,専門家の多様性を効果的に向上し,モデルのばらつきを著しく低減し,認識精度を向上させることを実証した。 さらに,本研究におけるDLとCSの役割は相互に強化・結合されており,専門家の多様性はCSから恩恵を受けており,CSはDLなしでは顕著な成果が得られない。 MDCSは、CIFAR10-LT、CIFAR100-LT、ImageNet-LT、Places-LT、iNaturalist 2018を含む5つの人気のあるロングテールベンチマークで、最先端のベンチマークを1%$\sim$ 2%上回りました。 コードはhttps://github.com/fistyee/mdcsで入手できる。

関連論文リスト

• De-confounded Data-free Knowledge Distillation for Handling Distribution Shifts [32.1016787150064]
  Data-Free Knowledge Distillation (DFKD)は、従来のトレーニングデータに頼ることなく、実際のデプロイメントを強化するために、高性能な小型モデルをトレーニングする有望なタスクである。 既存の方法は、合成データやサンプルデータを利用することで、プライベートデータへの依存を避けるのが一般的である。 本稿では,このような変化の影響から学生モデルを遠ざけるために,因果推論を用いた新しい視点を提案する。
  論文  参考訳（メタデータ） (2024-03-28T16:13:22Z)
• Mutual Distillation Learning For Person Re-Identification [27.350415735863184]
  MDPR(Multual Distillation Learning for Person Re-identification)という新しい手法を提案する。 本手法は,一様水平分割戦略により局所特徴を抽出するハードコンテンツブランチと,前景と背景を動的に区別するソフトコンテンツブランチの2つを含む。 提案手法はDukeC-reIDデータセット上のmAP/Rank-1の8.7%/94.4%の驚くべき値を得る。
  論文  参考訳（メタデータ） (2024-01-12T07:49:02Z)
• Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [95.49699178874683]
  拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。 DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。 そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-23T15:47:33Z)
• Merge, Then Compress: Demystify Efficient SMoE with Hints from Its Routing Policy [84.11508381847929]
  わずかに活性化されたMixture-of-Experts(SMoE)は、ニューラルネットワークの学習能力のスケールアップを約束している。 ルーティング統計を利用したM-SMoEを提案する。 我々のMC-SMoEは最大80%のメモリと20%のFLOPを削減でき、性能は実質的に損なわれない。
  論文  参考訳（メタデータ） (2023-10-02T16:51:32Z)
• Long-Tailed Visual Recognition via Self-Heterogeneous Integration with Knowledge Excavation [53.94265240561697]
  知識抽出による自己異種統合(SHIKE)と呼ばれるMoEに基づく新しい手法を提案する。 SHIKEはCIFAR100-LT (IF100), ImageNet-LT, iNaturalist 2018, Places-LTで56.3%, 60.3%, 75.4%, 41.9%の最先端性能を達成した。
  論文  参考訳（メタデータ） (2023-04-03T18:13:39Z)
• How to Train Your DRAGON: Diverse Augmentation Towards Generalizable Dense Retrieval [80.54532535622988]
  教師付き検索とゼロショット検索の両方において高い精度を達成するために、一般化可能な高密度検索を訓練できることが示される。 多様な拡張で訓練された高密度レトリバーであるDRAGONは、教師付きおよびゼロショット評価の両方において最先端の有効性を実現する最初のBERTベースサイズのDRである。
  論文  参考訳（メタデータ） (2023-02-15T03:53:26Z)
• Semi-supervised Semantic Segmentation with Mutual Knowledge Distillation [20.741353967123366]
  相互知識蒸留(MKD)と呼ばれる新しい整合正則化フレームワークを提案する。 我々は,教師が生み出した擬似ラベルを用いて,学生ネットワークを監督し,両者の相互知識の蒸留を実現する。 我々のフレームワークは、様々な半教師付き環境下で、従来の最先端(SOTA)メソッドよりも優れています。
  論文  参考訳（メタデータ） (2022-08-24T12:47:58Z)
• ACE: Ally Complementary Experts for Solving Long-Tailed Recognition in One-Shot [35.309006275276374]
  一段長尾認識法は、全体的な性能を「シーソー」方式で改善する。 既存のアルゴリズムは、そのようなトレードオフを多段階のトレーニングプロセスによって回避する。 我々は,一段階の長尾認識手法,アリー補完専門家(ACE)を提案する。
  論文  参考訳（メタデータ） (2021-08-05T05:31:57Z)
• DICE: Diversity in Deep Ensembles via Conditional Redundancy Adversarial Estimation [109.11580756757611]
  メンバー間の多様性のおかげで、ディープアンサンブルは単一のネットワークよりもパフォーマンスが良い。 最近のアプローチでは、多様性を高めるための予測を規則化していますが、個々のメンバーのパフォーマンスも大幅に減少します。 DICEと呼ばれる新しいトレーニング基準を導入し、特徴間の素早い相関を減らして多様性を高める。
  論文  参考訳（メタデータ） (2021-01-14T10:53:26Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。