論文の概要: ELF: An Early-Exiting Framework for Long-Tailed Classification

• arxiv url: http://arxiv.org/abs/2006.11979v2
• Date: Sun, 13 Sep 2020 17:12:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 04:27:02.323959
• Title: ELF: An Early-Exiting Framework for Long-Tailed Classification
• Title（参考訳）: ELF: 長期分類のための初期段階フレームワーク
• Authors: Rahul Duggal, Scott Freitas, Sunny Dhamnani, Duen Horng Chau, Jimeng Sun
• Abstract要約: EarLy-exiting Framework (ELF)は、バックボーンネットワークにアタッチされた補助ブランチを通じて、簡単な例を早期に出力することを学ぶ。 ELFは最先端の精度を3%以上向上させることができる。
• 参考スコア（独自算出の注目度）: 37.02287897555483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The natural world often follows a long-tailed data distribution where only a few classes account for most of the examples. This long-tail causes classifiers to overfit to the majority class. To mitigate this, prior solutions commonly adopt class rebalancing strategies such as data resampling and loss reshaping. However, by treating each example within a class equally, these methods fail to account for the important notion of example hardness, i.e., within each class some examples are easier to classify than others. To incorporate this notion of hardness into the learning process, we propose the EarLy-exiting Framework(ELF). During training, ELF learns to early-exit easy examples through auxiliary branches attached to a backbone network. This offers a dual benefit-(1) the neural network increasingly focuses on hard examples, since they contribute more to the overall network loss; and (2) it frees up additional model capacity to distinguish difficult examples. Experimental results on two large-scale datasets, ImageNet LT and iNaturalist'18, demonstrate that ELF can improve state-of-the-art accuracy by more than 3 percent. This comes with the additional benefit of reducing up to 20 percent of inference time FLOPS. ELF is complementary to prior work and can naturally integrate with a variety of existing methods to tackle the challenge of long-tailed distributions.
• Abstract（参考訳）: 自然界は多くの場合、例のほとんどを少数のクラスしか説明できない長い尾を持つデータ分布に従う。 このロングテールにより、分類器は多数派クラスに過剰に適合する。 これを軽減するために、事前のソリューションでは、データリサンプリングや損失リフォームといったクラスリバランス戦略が一般的である。 しかし、クラス内の各例を等しく扱うことにより、これらのメソッドは、例の硬さという重要な概念、すなわち各クラス内では、他の例よりも分類しやすい概念を考慮できない。 この難易度の概念を学習プロセスに組み込むため,EarLy-exiting Framework(ELF)を提案する。 トレーニング中、ELFはバックボーンネットワークにアタッチされた補助ブランチを通じて簡単なサンプルを早期に出力することを学ぶ。 1) ニューラルネットワークは、ネットワーク全体の損失により多くの貢献をするので、ハードな例にますます焦点を合わせ、(2) 難しい例を区別するために追加のモデルの容量を解放します。 ImageNet LTとiNaturalist'18という2つの大規模データセットの実験結果は、ELFが最先端の精度を3%以上向上できることを示した。 これは、最大20%の推測時間のFLOPSを削減できる追加の利点がある。 ELFは以前の作業と相補的であり、様々な既存手法と自然に統合して、長い尾の分布の課題に取り組むことができる。

関連論文リスト

• Characterizing Datapoints via Second-Split Forgetting [93.99363547536392]
  我々は、オリジナルのトレーニング例が忘れられた後(もしあれば)のエポックを追跡する補足的メトリックである$$-second-$split$$forgetting$$$time$ (SSFT)を提案する。 例えば$mislabeled$の例はすぐに忘れられ、$rare$の例は比較的ゆっくりと忘れられています。 SSFTは、(i)間違ったラベル付きサンプルを識別し、その除去により一般化が向上し、(ii)障害モードに関する洞察を提供する。
  論文  参考訳（メタデータ） (2022-10-26T21:03:46Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
  クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。 ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。 CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-12-11T11:44:09Z)
• When does loss-based prioritization fail? [18.982933391138268]
  ノイズや破損したデータのあるシナリオでは,損失に基づく加速度法が劣化することを示す。 例題の難易度は、ノイズを他のタイプの難易度例から正しく分離する必要がある。
  論文  参考訳（メタデータ） (2021-07-16T07:23:15Z)
• Improving Long-Tailed Classification from Instance Level [34.10943893320389]
  長期分類を改善するために2つのインスタンスレベルコンポーネントを提案する。 1つ目は適応ロジット調整(ALA)損失であり、ロジットに適応調整項を適用する。 2つ目はMixture-of-Experts (MoE)ネットワークで、マルチエキスパートモジュールとインスタンス対応ルーティングモジュールを含んでいる。
  論文  参考訳（メタデータ） (2021-04-13T11:00:19Z)
• FASA: Feature Augmentation and Sampling Adaptation for Long-Tailed Instance Segmentation [91.129039760095]
  ロングテールインスタンスセグメンテーションの最近の手法は、トレーニングデータが少ないレアオブジェクトクラスで未だに苦労している。 本稿では,FASA(Feature Augmentation and Smpling Adaptation)を提案する。 FASAは、標準またはロングテールのセグメンテーションフレームワークに簡単に接続できる、高速で汎用的な方法です。
  論文  参考訳（メタデータ） (2021-02-25T14:07:23Z)
• ResLT: Residual Learning for Long-tailed Recognition [64.19728932445523]
  本稿では,パラメータ空間の側面から,より基本的なロングテール認識の視点を提案する。 すべてのクラスから画像を認識するために最適化されたメインブランチと、medium+tailクラスとtailクラスからのイメージを強化するために徐々に2つの残りのブランチを融合して最適化する。 我々は、CIFAR-10、CIFAR-100、Places、ImageNet、iNaturalist 2018の長期バージョンであるいくつかのベンチマークでこの方法をテストする。
  論文  参考訳（メタデータ） (2021-01-26T08:43:50Z)
• Robust and On-the-fly Dataset Denoising for Image Classification [72.10311040730815]
  On-the-fly Data Denoising (ODD)は、間違ったラベルの例に対して堅牢だが、通常のトレーニングと比べて計算オーバーヘッドはほぼゼロである。 ODDはWebVisionやClothing1Mといった現実世界のデータセットを含む、幅広いデータセットで最先端の結果を達成することができる。
  論文  参考訳（メタデータ） (2020-03-24T03:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。