論文の概要: Distributional Robustness Loss for Long-tail Learning

• arxiv url: http://arxiv.org/abs/2104.03066v1
• Date: Wed, 7 Apr 2021 11:34:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-08 18:50:59.653943
• Title: Distributional Robustness Loss for Long-tail Learning
• Title（参考訳）: 長期学習における分布ロバスト性損失
• Authors: Dvir Samuel and Gal Chechik
• Abstract要約: 現実世界のデータはしばしばアンバランスで長尾ですが、深いモデルは頻繁なクラスの存在下でまれなクラスを認識するのに苦労します。 ディープネットワークの特徴抽出器部分は,このバイアスに大きく悩まされていることを示す。 モデルが頭と尾の両方のクラスで高品質の表現を学ぶことを奨励するロバストネス理論に基づく新しい損失を提案します。
• 参考スコア（独自算出の注目度）: 20.800627115140465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world data is often unbalanced and long-tailed, but deep models struggle to recognize rare classes in the presence of frequent classes. To address unbalanced data, most studies try balancing the data, the loss, or the classifier to reduce classification bias towards head classes. Far less attention has been given to the latent representations learned with unbalanced data. We show that the feature extractor part of deep networks suffers greatly from this bias. We propose a new loss based on robustness theory, which encourages the model to learn high-quality representations for both head and tail classes. While the general form of the robustness loss may be hard to compute, we further derive an easy-to-compute upper bound that can be minimized efficiently. This procedure reduces representation bias towards head classes in the feature space and achieves new SOTA results on CIFAR100-LT, ImageNet-LT, and iNaturalist long-tail benchmarks. We find that training with robustness increases recognition accuracy of tail classes while largely maintaining the accuracy of head classes. The new robustness loss can be combined with various classifier balancing techniques and can be applied to representations at several layers of the deep model.
• Abstract（参考訳）: 現実世界のデータはしばしばバランスがとれず、尾も長いが、深層モデルは頻繁なクラスの存在下でレアクラスを認識するのに苦労している。 不均衡なデータに対処するために、ほとんどの研究は、データ、損失、分類器のバランスをとり、ヘッドクラスに対する分類バイアスを減らす。 不均衡なデータで学習された潜在表現にはあまり注意が払われていない。 ディープネットワークの特徴抽出器部分は,このバイアスに大きく悩まされていることを示す。 本稿では,モデルが頭部・尾部の両クラスで高品質な表現を学習することを奨励するロバストネス理論に基づく新たな損失を提案する。 強靭性損失の一般形は計算が難しいかもしれないが、より効率的に最小化できる計算容易な上限を導出する。 この手法は特徴空間のヘッドクラスに対する表現バイアスを低減し、CIFAR100-LT、ImageNet-LT、iNaturalist long-tailベンチマークで新しいSOTA結果を得る。 頑健なトレーニングは,ヘッドクラスの精度を保ちつつ,テールクラスの認識精度を高めることが判明した。 新たなロバスト性損失は、様々な分類器バランス技術と組み合わせて、ディープモデルの複数の層での表現に適用することができる。

関連論文リスト

• Orthogonal Uncertainty Representation of Data Manifold for Robust Long-Tailed Learning [52.021899899683675]
  長い尾の分布を持つシナリオでは、尾のサンプルが不足しているため、モデルが尾のクラスを識別する能力は制限される。 モデルロバストネスの長期的現象を改善するために,特徴埋め込みの直交不確実性表現(OUR)とエンドツーエンドのトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2023-10-16T05:50:34Z)
• A dual-branch model with inter- and intra-branch contrastive loss for long-tailed recognition [7.225494453600985]
  長い尾のデータセットで訓練されたモデルは、テールクラスへの適応性が低く、決定境界は曖昧である。 我々は,不均衡学習枝と対照学習枝(CoLB)を含む,単純で効果的なDual-Branch Long-Tailed Recognition (DB-LTR)を提案する。 CoLBは、テールクラスに適応する際のモデルの能力を改善し、不均衡な学習ブランチを支援して、よく表現された特徴空間と識別的決定境界を学習する。
  論文  参考訳（メタデータ） (2023-09-28T03:31:11Z)
• Dual Compensation Residual Networks for Class Imbalanced Learning [98.35401757647749]
  そこで本研究では,尾と頭の両方に適合する2次元補償残差ネットワークを提案する。 オーバーフィッティングを引き起こす重要な要因は、トレーニングとテールクラスのテストデータの間に深刻な特徴ドリフトがあることである。 また,不適合問題を軽減するためにResidual Balanced Multi-Proxies分類器を提案する。
  論文  参考訳（メタデータ） (2023-08-25T04:06:30Z)
• Class Instance Balanced Learning for Long-Tailed Classification [0.0]
  ロングテール画像分類タスクは、トレーニングデータのクラス周波数における大きな不均衡を扱う。 従来のアプローチでは、クロスエントロピーとコントラスト学習を組み合わせることで、長いタスクのパフォーマンスが向上することが示されている。 学習バッチにおけるクラスインスタンスの頻度の関数として,クロスエントロピーと対照的な損失の相対的寄与を重み付けする新しいクラスインスタンス平衡損失(CIBL)を提案する。
  論文  参考訳（メタデータ） (2023-07-11T15:09:10Z)
• Inducing Neural Collapse in Deep Long-tailed Learning [13.242721780822848]
  クラス不均衡データの高品質な表現を学習するための2つの明示的な特徴正規化項を提案する。 提案された正規化により、ニューラル崩壊現象はクラス不均衡分布の下に現れる。 本手法は, 実装が容易で, 有効であり, 既存のほとんどの方法に組み込むことができる。
  論文  参考訳（メタデータ） (2023-02-24T05:07:05Z)
• Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
  多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。 従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。 ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。 提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
  論文  参考訳（メタデータ） (2022-08-04T10:22:24Z)
• Calibrating Class Activation Maps for Long-Tailed Visual Recognition [60.77124328049557]
  本稿では,CNNの長期分布からネットワーク学習を改善するための2つの効果的な修正を提案する。 まず,ネットワーク分類器の学習と予測を改善するために,CAMC (Class Activation Map) モジュールを提案する。 第2に,長期化問題における表現学習における正規化分類器の利用について検討する。
  論文  参考訳（メタデータ） (2021-08-29T05:45:03Z)
• Long-tailed Recognition by Routing Diverse Distribution-Aware Experts [64.71102030006422]
  我々は、RoutIng Diverse Experts (RIDE) と呼ばれる新しい長い尾の分類器を提案する。 複数の専門家とのモデルの分散を減らし、分布を考慮した多様性損失によるモデルバイアスを減らし、動的専門家ルーティングモジュールによる計算コストを削減します。 RIDEは、CIFAR100-LT、ImageNet-LT、iNaturalist 2018ベンチマークで最先端を5%から7%上回っている。
  論文  参考訳（メタデータ） (2020-10-05T06:53:44Z)
• Long-Tailed Recognition Using Class-Balanced Experts [128.73438243408393]
  本稿では,多様な分類器の強度を組み合わせたクラスバランスの専門家のアンサンブルを提案する。 私たちのクラスバランスの専門家のアンサンブルは、最先端に近い結果に到達し、長い尾の認識のための2つのベンチマークで新たな最先端のアンサンブルを確立します。
  論文  参考訳（メタデータ） (2020-04-07T20:57:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。