論文の概要: Class-Balanced Distillation for Long-Tailed Visual Recognition

• arxiv url: http://arxiv.org/abs/2104.05279v1
• Date: Mon, 12 Apr 2021 08:21:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 14:31:45.258218
• Title: Class-Balanced Distillation for Long-Tailed Visual Recognition
• Title（参考訳）: 長期視覚認識のためのクラスバランス蒸留
• Authors: Ahmet Iscen, Andr\'e Araujo, Boqing Gong, Cordelia Schmid
• Abstract要約: 実世界のイメージはしばしばクラスごとの画像数の著しい不均衡によって特徴づけられ、ロングテール分布に繋がる。 本研究では、インスタンスサンプリングで学習した特徴表現が長尾設定では最適とは程遠いという重要な観察を行うことで、新しいフレームワークを提案する。 我々の主な貢献は、知識蒸留を利用して特徴表現を強化する新しい訓練方法である。
• 参考スコア（独自算出の注目度）: 100.10293372607222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world imagery is often characterized by a significant imbalance of the number of images per class, leading to long-tailed distributions. An effective and simple approach to long-tailed visual recognition is to learn feature representations and a classifier separately, with instance and class-balanced sampling, respectively. In this work, we introduce a new framework, by making the key observation that a feature representation learned with instance sampling is far from optimal in a long-tailed setting. Our main contribution is a new training method, referred to as Class-Balanced Distillation (CBD), that leverages knowledge distillation to enhance feature representations. CBD allows the feature representation to evolve in the second training stage, guided by the teacher learned in the first stage. The second stage uses class-balanced sampling, in order to focus on under-represented classes. This framework can naturally accommodate the usage of multiple teachers, unlocking the information from an ensemble of models to enhance recognition capabilities. Our experiments show that the proposed technique consistently outperforms the state of the art on long-tailed recognition benchmarks such as ImageNet-LT, iNaturalist17 and iNaturalist18. The experiments also show that our method does not sacrifice the accuracy of head classes to improve the performance of tail classes, unlike most existing work.
• Abstract（参考訳）: 実世界のイメージはしばしばクラスごとの画像数の著しい不均衡によって特徴づけられ、ロングテール分布に繋がる。 ロングテール視覚認識への効果的で単純なアプローチは、特徴表現と分類器をそれぞれインスタンスとクラスバランスサンプリングで個別に学習することである。 本稿では,インスタンスサンプリングで学習した特徴表現が長文設定では最適とはほど遠いという重要な観察を行うことにより,新たな枠組みを提案する。 本研究の主な貢献は,知識蒸留を利用して特徴表現を強化する,CBD(Class-Balanced Distillation)と呼ばれる新しい訓練方法である。 CBDは、第2の訓練段階において特徴表現を進化させ、第1の段階で学んだ教師によって指導される。 第2段階では、低表現のクラスにフォーカスするために、クラスバランスのサンプリングを使用する。 このフレームワークは、自然に複数の教師の利用に対応でき、モデルのアンサンブルから情報を解き放ち、認識能力を高めることができる。 実験の結果,提案手法はImageNet-LT, iNaturalist17, iNaturalist18などの長尾認識ベンチマークにおいて, 常に高い性能を示すことがわかった。 また,本手法は,既存手法と異なり,テールクラスの性能向上のためにヘッドクラスの精度を犠牲にしないことを示した。

関連論文リスト

• LCReg: Long-Tailed Image Classification with Latent Categories based Recognition [81.5551335554507]
  本稿では,Lar-tail Recognition(LCReg)法を提案する。 我々の仮説は、頭と尾のクラスで共有される一般的な潜伏的特徴は、特徴表現を改善するために使用できるというものである。 具体的には、頭と尾の両方で共有されるクラス非依存の潜伏特徴の集合を学習し、潜伏特徴のセマンティックデータ拡張を用いてトレーニングサンプルの多様性を暗黙的に増加させる。
  論文  参考訳（メタデータ） (2023-09-13T02:03:17Z)
• Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
  多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。 従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。 ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。 提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
  論文  参考訳（メタデータ） (2022-08-04T10:22:24Z)
• DBN-Mix: Training Dual Branch Network Using Bilateral Mixup Augmentation for Long-Tailed Visual Recognition [7.94190631530826]
  累積学習を必要とせず,DBNの性能を向上させるための簡易かつ効果的な手法を開発した。 提案したDBNアーキテクチャの多数派に対する偏りを緩和するクラス条件温度スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-07-05T17:01:27Z)
• Long-tailed Recognition by Learning from Latent Categories [70.6272114218549]
  本稿ではLatent Categories based long-tail Recognition (LCReg)法を提案する。 具体的には、頭と尾のクラス間で共有されるクラスに依存しない潜在機能群を学習する。 次に、潜在機能に意味データ拡張を適用することで、トレーニングサンプルの多様性を暗黙的に強化する。
  論文  参考訳（メタデータ） (2022-06-02T12:19:51Z)
• Long-tail Recognition via Compositional Knowledge Transfer [60.03764547406601]
  末尾クラスの少数ショット問題に対処する長尾認識のための新しい戦略を導入する。 我々の目標は、情報に富んだ共通クラスから得られた知識を、意味的に類似しているがデータに富む稀なクラスに伝達することである。 実験結果から,本手法は稀なクラスにおいて,堅牢な共通クラス性能を維持しつつ,大幅な性能向上を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-12-13T15:48:59Z)
• Improving Tail-Class Representation with Centroid Contrastive Learning [145.73991900239017]
  本稿では,長い尾を持つ表現学習を改善するために,補間型セントロイドコントラスト学習(ICCL)を提案する。 ICCLは、クラス別サンプルとクラス別サンプルの2つの画像を補間し、ICCLの表現が両方のソースクラスのセントロイドを取得するために使用されるようにモデルを訓練する。 我々の結果は、現実世界の長い尾の分布を持つiNaturalist 2018データセットで2.8%の精度向上を示した。
  論文  参考訳（メタデータ） (2021-10-19T15:24:48Z)
• Balanced Knowledge Distillation for Long-tailed Learning [9.732397447057318]
  長尾データセットで訓練されたディープモデルは、テールクラスで不十分なパフォーマンスを示す。 既存の手法は通常、テールクラスへの学習焦点を増やすために分類損失を変更する。 両目標間の矛盾を解消し,両目標を同時に達成するためにバランスド知識蒸留を提案する。
  論文  参考訳（メタデータ） (2021-04-21T13:07:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。