論文の概要: Long-Tailed Visual Recognition via Self-Heterogeneous Integration with Knowledge Excavation

• arxiv url: http://arxiv.org/abs/2304.01279v1
• Date: Mon, 3 Apr 2023 18:13:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 16:44:00.242548
• Title: Long-Tailed Visual Recognition via Self-Heterogeneous Integration with Knowledge Excavation
• Title（参考訳）: 知識抽出による自己異種統合による長期視覚認識
• Authors: Yan Jin, Mengke LI, Yang Lu, Yiu-ming Cheung, Hanzi Wang
• Abstract要約: 知識抽出による自己異種統合(SHIKE)と呼ばれるMoEに基づく新しい手法を提案する。 SHIKEはCIFAR100-LT (IF100), ImageNet-LT, iNaturalist 2018, Places-LTで56.3%, 60.3%, 75.4%, 41.9%の最先端性能を達成した。
• 参考スコア（独自算出の注目度）: 53.94265240561697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks have made huge progress in the last few decades. However, as the real-world data often exhibits a long-tailed distribution, vanilla deep models tend to be heavily biased toward the majority classes. To address this problem, state-of-the-art methods usually adopt a mixture of experts (MoE) to focus on different parts of the long-tailed distribution. Experts in these methods are with the same model depth, which neglects the fact that different classes may have different preferences to be fit by models with different depths. To this end, we propose a novel MoE-based method called Self-Heterogeneous Integration with Knowledge Excavation (SHIKE). We first propose Depth-wise Knowledge Fusion (DKF) to fuse features between different shallow parts and the deep part in one network for each expert, which makes experts more diverse in terms of representation. Based on DKF, we further propose Dynamic Knowledge Transfer (DKT) to reduce the influence of the hardest negative class that has a non-negligible impact on the tail classes in our MoE framework. As a result, the classification accuracy of long-tailed data can be significantly improved, especially for the tail classes. SHIKE achieves the state-of-the-art performance of 56.3%, 60.3%, 75.4%, and 41.9% on CIFAR100-LT (IF100), ImageNet-LT, iNaturalist 2018, and Places-LT, respectively.
• Abstract（参考訳）: 深層ニューラルネットワークは、ここ数十年で大きな進歩を遂げている。 しかしながら、現実世界のデータはしばしば長い尾の分布を示すため、バニラディープモデルは多数派に大きく偏っている傾向にある。 この問題に対処するため、最先端の手法は通常、ロングテール分布の異なる部分に焦点を当てるために専門家(moe)の混合を採用する。 これらの手法のエキスパートはモデル深度が同じであり、異なるクラスが異なる深さのモデルに適合するように異なる好みを持つという事実を無視する。 そこで本研究では,知識抽出を用いた自己異種統合法(SHIKE)を提案する。 まず,異なる浅い部分と1つのネットワークの深い部分の間で特徴を融合するために,dkf(deep-wise knowledge fusion)を提案する。 dkfに基づき、我々はさらに、moeフレームワークのテールクラスに無視できない影響を持つ最も難しい負のクラスの影響を減らすために、動的知識伝達(dkt)を提案します。 その結果、特に尾のクラスにおいて、長い尾のデータの分類精度を著しく向上させることができる。 SHIKEはCIFAR100-LT (IF100), ImageNet-LT, iNaturalist 2018, Places-LTで56.3%, 60.3%, 75.4%, 41.9%の最先端性能を達成した。

関連論文リスト

• FedLF: Adaptive Logit Adjustment and Feature Optimization in Federated Long-Tailed Learning [5.23984567704876]
  フェデレーション学習は、分散機械学習におけるプライバシの保護という課題にパラダイムを提供する。 伝統的なアプローチは、グローバルな長期データにおけるクラスワイドバイアスの現象に対処できない。 新しい手法であるFedLFは、適応ロジット調整、連続クラス中心最適化、特徴デコリレーションという、局所的なトレーニングフェーズに3つの修正を導入している。
  論文  参考訳（メタデータ） (2024-09-18T16:25:29Z)
• Feature Fusion from Head to Tail for Long-Tailed Visual Recognition [39.86973663532936]
  テールクラスにおけるセマンティック情報の不十分に起因するバイアスのある決定境界は、認識精度の低下に寄与する重要な要因の1つである。 我々は,H2T(head-to-tail fusion)と呼ばれるヘッドクラスから多様な意味情報を移植することで,テールクラスを増強することを提案する。 理論的解析と実用実験の両方で、H2Tが決定境界に対してより最適化された解に寄与できることが示されている。
  論文  参考訳（メタデータ） (2023-06-12T08:50:46Z)
• Boosting Long-tailed Object Detection via Step-wise Learning on Smooth-tail Data [60.64535309016623]
  カテゴリの長い尾の分布がスムーズに減衰し、ヘッドクラスに対するバイアスを補正するスムーズなテールデータを構築する。 我々は,ヘッドクラス支配的なリプレイデータに基づいて,事前学習したモデルのクラスに依存しないモジュールを微調整する。 我々は、すべてのカテゴリの正確な検出を保証するため、トップクラスエキスパートモデルから知識を伝達しながら、テールクラス支配的なリプレイデータ上で統一モデルを訓練する。
  論文  参考訳（メタデータ） (2023-05-22T08:53:50Z)
• Propheter: Prophetic Teacher Guided Long-Tailed Distribution Learning [44.947984354108094]
  本稿では,より深いネットワークの学習を外部の事前知識で導くことによってボトルネックを突破する,革新的なロングテール学習パラダイムを提案する。 提案された予言的パラダイムは、長い尾のデータセットにおける限られたクラス知識の挑戦に対する有望な解決策として機能する。
  論文  参考訳（メタデータ） (2023-04-09T02:02:19Z)
• FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated Distillation [54.2658887073461]
  非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。 本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。 FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
  論文  参考訳（メタデータ） (2022-04-30T06:17:36Z)
• ResLT: Residual Learning for Long-tailed Recognition [64.19728932445523]
  本稿では,パラメータ空間の側面から,より基本的なロングテール認識の視点を提案する。 すべてのクラスから画像を認識するために最適化されたメインブランチと、medium+tailクラスとtailクラスからのイメージを強化するために徐々に2つの残りのブランチを融合して最適化する。 我々は、CIFAR-10、CIFAR-100、Places、ImageNet、iNaturalist 2018の長期バージョンであるいくつかのベンチマークでこの方法をテストする。
  論文  参考訳（メタデータ） (2021-01-26T08:43:50Z)
• Long-tailed Recognition by Routing Diverse Distribution-Aware Experts [64.71102030006422]
  我々は、RoutIng Diverse Experts (RIDE) と呼ばれる新しい長い尾の分類器を提案する。 複数の専門家とのモデルの分散を減らし、分布を考慮した多様性損失によるモデルバイアスを減らし、動的専門家ルーティングモジュールによる計算コストを削減します。 RIDEは、CIFAR100-LT、ImageNet-LT、iNaturalist 2018ベンチマークで最先端を5%から7%上回っている。
  論文  参考訳（メタデータ） (2020-10-05T06:53:44Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。