論文の概要: Decoupled Training for Long-Tailed Classification With Stochastic Representations

• arxiv url: http://arxiv.org/abs/2304.09426v1
• Date: Wed, 19 Apr 2023 05:35:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-20 15:28:55.242019
• Title: Decoupled Training for Long-Tailed Classification With Stochastic Representations
• Title（参考訳）: 確率表現を用いたロングテール分類のための分離学習
• Authors: Giung Nam, Sunguk Jang, Juho Lee
• Abstract要約: 表現学習と学習の分離は,長期データを用いた分類に有効であることが示されている。 まず、ディープニューラルネットワークの一般化を改善するための最適化手法であるウェイト平均化(SWA)を適用し、長い尾の分類のためのより優れた一般化特徴抽出器を得る。 そこで我々は,SWA-Gaussian,Gaussian SWA,および自己蒸留戦略から得られた摂動表現に基づく新しい分類器再学習アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 15.990318581975435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decoupling representation learning and classifier learning has been shown to be effective in classification with long-tailed data. There are two main ingredients in constructing a decoupled learning scheme; 1) how to train the feature extractor for representation learning so that it provides generalizable representations and 2) how to re-train the classifier that constructs proper decision boundaries by handling class imbalances in long-tailed data. In this work, we first apply Stochastic Weight Averaging (SWA), an optimization technique for improving the generalization of deep neural networks, to obtain better generalizing feature extractors for long-tailed classification. We then propose a novel classifier re-training algorithm based on stochastic representation obtained from the SWA-Gaussian, a Gaussian perturbed SWA, and a self-distillation strategy that can harness the diverse stochastic representations based on uncertainty estimates to build more robust classifiers. Extensive experiments on CIFAR10/100-LT, ImageNet-LT, and iNaturalist-2018 benchmarks show that our proposed method improves upon previous methods both in terms of prediction accuracy and uncertainty estimation.
• Abstract（参考訳）: 表現学習と分類器学習の分離は,長期データを用いた分類に有効であることが示されている。 分離学習体系の構築には2つの主な要素がある。 1)表現学習のための特徴抽出器の訓練方法 2) 長期データにおけるクラス不均衡を扱い、適切な決定境界を構築する分類器を再訓練する方法。 本研究では、まず、ディープニューラルネットワークの一般化を改善する最適化手法であるStochastic Weight Averaging(SWA)を適用し、長い尾の分類のためのより優れた一般化特徴抽出器を得る。 次に,swa-gaussian,gaussian perturbed swaから得られた確率的表現と,不確実性推定に基づく多様な確率的表現を活用し,より頑健な分類器を構築する自己蒸留戦略に基づく新しい分類器再訓練アルゴリズムを提案する。 CIFAR10/100-LT, ImageNet-LT, iNaturalist-2018ベンチマークの大規模な実験により, 提案手法は予測精度と不確実性評価の両面において, 従来手法よりも優れていることが示された。

関連論文リスト

• DRoP: Distributionally Robust Data Pruning [11.930434318557156]
  我々は、訓練されたモデルの分類バイアスにデータプルーニングが与える影響について、最初の系統的研究を行う。 そこで我々はDRoPを提案する。DRoPは,標準的なコンピュータビジョンベンチマークにおいて,その性能を実証的に実証し,分散的に頑健な手法である。
  論文  参考訳（メタデータ） (2024-04-08T14:55:35Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Fixed Random Classifier Rearrangement for Continual Learning [0.5439020425819]
  視覚分類のシナリオでは、ニューラルネットワークは新しいタスクを学習した後、必然的に古いタスクの知識を忘れる。 我々はFixed Random Rearrangement (FRCR)という連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-23T09:43:58Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Leveraging Angular Information Between Feature and Classifier for Long-tailed Learning: A Prediction Reformulation Approach [90.77858044524544]
  分類器の重みを再バランスすることなく、包含角度で認識確率を再構成する。 予測形式再構成の性能向上に着想を得て, この角度予測の異なる特性について検討する。 CIFAR10/100-LT と ImageNet-LT を事前学習することなく、ピアメソッド間で最高の性能を得ることができる。
  論文  参考訳（メタデータ） (2022-12-03T07:52:48Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Calibrating Class Activation Maps for Long-Tailed Visual Recognition [60.77124328049557]
  本稿では,CNNの長期分布からネットワーク学習を改善するための2つの効果的な修正を提案する。 まず,ネットワーク分類器の学習と予測を改善するために,CAMC (Class Activation Map) モジュールを提案する。 第2に,長期化問題における表現学習における正規化分類器の利用について検討する。
  論文  参考訳（メタデータ） (2021-08-29T05:45:03Z)
• Insta-RS: Instance-wise Randomized Smoothing for Improved Robustness and Accuracy [9.50143683501477]
  Insta-RSは、テスト例にカスタマイズされたガウス分散を割り当てるマルチスタート検索アルゴリズムである。 Insta-RS Trainは、各トレーニング例のノイズレベルを適応的に調整し、カスタマイズする新しい2段階トレーニングアルゴリズムです。 本手法は,平均認定半径(ACR)とクリーンデータ精度を有意に向上させることを示した。
  論文  参考訳（メタデータ） (2021-03-07T19:46:07Z)
• Solving Long-tailed Recognition with Deep Realistic Taxonomic Classifier [68.38233199030908]
  ロングテール認識は、現実世界のシナリオにおける自然な非一様分散データに取り組む。 モダンは人口密度の高いクラスではうまく機能するが、そのパフォーマンスはテールクラスでは著しく低下する。 Deep-RTCは、リアリズムと階層的予測を組み合わせたロングテール問題の新しい解法として提案されている。
  論文  参考訳（メタデータ） (2020-07-20T05:57:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。