論文の概要: Self Supervision to Distillation for Long-Tailed Visual Recognition

• arxiv url: http://arxiv.org/abs/2109.04075v1
• Date: Thu, 9 Sep 2021 07:38:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-11 04:36:28.922122
• Title: Self Supervision to Distillation for Long-Tailed Visual Recognition
• Title（参考訳）: 長期視覚認識のための蒸留自己管理
• Authors: Tianhao Li, Limin Wang, Gangshan Wu
• Abstract要約: 我々は,ラベル相関を長期認識のための多段階学習手法に組み込むための強力な手法として,ソフトラベルが有効であることを示す。 具体的には、概念的にシンプルであるが、特に有効である多段階トレーニングスキームを、自監督蒸留(SSD)と呼ぶ。 提案手法は,ImageNet-LT, CIFAR100-LT, iist 2018の3つの長尾認識ベンチマークに対して,最先端の処理結果を実現する。
• 参考スコア（独自算出の注目度）: 34.29744530188875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning has achieved remarkable progress for visual recognition on large-scale balanced datasets but still performs poorly on real-world long-tailed data. Previous methods often adopt class re-balanced training strategies to effectively alleviate the imbalance issue, but might be a risk of over-fitting tail classes. The recent decoupling method overcomes over-fitting issues by using a multi-stage training scheme, yet, it is still incapable of capturing tail class information in the feature learning stage. In this paper, we show that soft label can serve as a powerful solution to incorporate label correlation into a multi-stage training scheme for long-tailed recognition. The intrinsic relation between classes embodied by soft labels turns out to be helpful for long-tailed recognition by transferring knowledge from head to tail classes. Specifically, we propose a conceptually simple yet particularly effective multi-stage training scheme, termed as Self Supervised to Distillation (SSD). This scheme is composed of two parts. First, we introduce a self-distillation framework for long-tailed recognition, which can mine the label relation automatically. Second, we present a new distillation label generation module guided by self-supervision. The distilled labels integrate information from both label and data domains that can model long-tailed distribution effectively. We conduct extensive experiments and our method achieves the state-of-the-art results on three long-tailed recognition benchmarks: ImageNet-LT, CIFAR100-LT and iNaturalist 2018. Our SSD outperforms the strong LWS baseline by from $2.7\%$ to $4.5\%$ on various datasets. The code is available at https://github.com/MCG-NJU/SSD-LT.
• Abstract（参考訳）: ディープラーニングは、大規模なバランスのとれたデータセットの視覚的認識において驚くべき進歩を遂げた。 従来手法では、バランスの取れない問題を効果的に軽減するために、クラス再バランスのトレーニング戦略が採用されていた。 近年のデカップリング法では,多段階のトレーニング手法を用いることで,過剰フィッティング問題を克服するが,機能学習段階ではテールクラス情報を捉えることができない。 本稿では,音声認識のための多段階学習手法にラベル相関を組み込むための,ソフトラベルが強力なソリューションであることを示す。 ソフトラベルによって具現化されたクラス間の本質的な関係は、頭から尾のクラスに知識を移すことで、ロングテール認識に有用であることが判明した。 具体的には、概念的にシンプルであるが、特に有効である多段階トレーニングスキームについて提案する。 このスキームは2つの部分で構成されている。 まず,ラベル関係を自動的にマイニングできるロングテール認識のための自己蒸留フレームワークを提案する。 第2に,自己監督型蒸留ラベル生成モジュールを提案する。 蒸留ラベルは、長期分布を効果的にモデル化できるラベルとデータドメインの両方の情報を統合する。 我々は広範な実験を行い,imagenet-lt,cifar100-lt,inaturalist 2018の3つの長文認識ベンチマークで最新の結果を得た。 我々のSSDは強力なLWSベースラインを2.7 %$から4.5 %$に上回ります。 コードはhttps://github.com/MCG-NJU/SSD-LTで公開されている。

関連論文リスト

• Continuous Contrastive Learning for Long-Tailed Semi-Supervised Recognition [50.61991746981703]
  現在の最先端のLTSSLアプローチは、大規模な未ラベルデータに対して高品質な擬似ラベルに依存している。 本稿では,長期学習における様々な提案を統一する新しい確率的枠組みを提案する。 我々は、信頼度とスムーズな擬似ラベルを用いて、我々のフレームワークをラベルなしデータに拡張する、連続的コントラスト学習手法であるCCLを導入する。
  論文  参考訳（メタデータ） (2024-10-08T15:06:10Z)
• Long-Tailed Anomaly Detection with Learnable Class Names [64.79139468331807]
  性能評価のためのクラス不均衡とメトリクスのレベルが異なるデータセットをいくつか導入する。 次に、データセットのクラス名に頼ることなく、複数の長い尾を持つクラスから欠陥を検出する新しい手法LTADを提案する。 LTADは、ほとんどの形式のデータセットの不均衡に対して最先端の手法を大幅に上回っている。
  論文  参考訳（メタデータ） (2024-03-29T15:26:44Z)
• Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
  多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。 従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。 ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。 提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
  論文  参考訳（メタデータ） (2022-08-04T10:22:24Z)
• Contrastive Learning with Boosted Memorization [36.957895270908324]
  自己教師付き学習は、視覚的およびテキスト的データの表現学習において大きな成功を収めた。 近年の自己指導型長期学習の試行は、損失視点やモデル視点の再バランスによって行われる。 本稿では,ラベルを意識しないコンテキストにおける長期学習を強化するために,新しいBCL法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T11:54:22Z)
• Balanced Knowledge Distillation for Long-tailed Learning [9.732397447057318]
  長尾データセットで訓練されたディープモデルは、テールクラスで不十分なパフォーマンスを示す。 既存の手法は通常、テールクラスへの学習焦点を増やすために分類損失を変更する。 両目標間の矛盾を解消し,両目標を同時に達成するためにバランスド知識蒸留を提案する。
  論文  参考訳（メタデータ） (2021-04-21T13:07:35Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• ResLT: Residual Learning for Long-tailed Recognition [64.19728932445523]
  本稿では,パラメータ空間の側面から,より基本的なロングテール認識の視点を提案する。 すべてのクラスから画像を認識するために最適化されたメインブランチと、medium+tailクラスとtailクラスからのイメージを強化するために徐々に2つの残りのブランチを融合して最適化する。 我々は、CIFAR-10、CIFAR-100、Places、ImageNet、iNaturalist 2018の長期バージョンであるいくつかのベンチマークでこの方法をテストする。
  論文  参考訳（メタデータ） (2021-01-26T08:43:50Z)
• Long-tailed Recognition by Routing Diverse Distribution-Aware Experts [64.71102030006422]
  我々は、RoutIng Diverse Experts (RIDE) と呼ばれる新しい長い尾の分類器を提案する。 複数の専門家とのモデルの分散を減らし、分布を考慮した多様性損失によるモデルバイアスを減らし、動的専門家ルーティングモジュールによる計算コストを削減します。 RIDEは、CIFAR100-LT、ImageNet-LT、iNaturalist 2018ベンチマークで最先端を5%から7%上回っている。
  論文  参考訳（メタデータ） (2020-10-05T06:53:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。