論文の概要: Difficulty-Net: Learning to Predict Difficulty for Long-Tailed
Recognition
- arxiv url: http://arxiv.org/abs/2209.02960v1
- Date: Wed, 7 Sep 2022 07:04:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-08 11:54:37.311469
- Title: Difficulty-Net: Learning to Predict Difficulty for Long-Tailed
Recognition
- Title（参考訳）: 難易度ネット:長期音声認識における難易度予測学習
- Authors: Saptarshi Sinha and Hiroki Ohashi
- Abstract要約: メタラーニングフレームワークにおいて,モデルの性能を用いてクラスの難易度を予測することを学習するDifficulty-Netを提案する。
本稿では,相対的難易度と運転者損失という2つの重要な概念を紹介する。
提案手法の有効性を実証した。
- 参考スコア（独自算出の注目度）: 5.977483447975081
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Long-tailed datasets, where head classes comprise much more training samples
than tail classes, cause recognition models to get biased towards the head
classes. Weighted loss is one of the most popular ways of mitigating this
issue, and a recent work has suggested that class-difficulty might be a better
clue than conventionally used class-frequency to decide the distribution of
weights. A heuristic formulation was used in the previous work for quantifying
the difficulty, but we empirically find that the optimal formulation varies
depending on the characteristics of datasets. Therefore, we propose
Difficulty-Net, which learns to predict the difficulty of classes using the
model's performance in a meta-learning framework. To make it learn reasonable
difficulty of a class within the context of other classes, we newly introduce
two key concepts, namely the relative difficulty and the driver loss. The
former helps Difficulty-Net take other classes into account when calculating
difficulty of a class, while the latter is indispensable for guiding the
learning to a meaningful direction. Extensive experiments on popular
long-tailed datasets demonstrated the effectiveness of the proposed method, and
it achieved state-of-the-art performance on multiple long-tailed datasets.
- Abstract（参考訳）: ロングテールデータセットでは、ヘッドクラスはテールクラスよりも多くのトレーニングサンプルで構成されており、認識モデルがヘッドクラスに偏りが生じます。
重み付き損失はこの問題を緩和する最も一般的な方法の1つであり、近年の研究では、重みの分布を決定するために、従来のクラス周波数よりも、クラス拡散の方が良い手がかりである可能性が示唆されている。
前回の研究で難易度を定量化するためにヒューリスティックな定式化が用いられていたが,データセットの特性によって最適な定式化が変化することがわかった。
そこで本稿では,メタラーニングフレームワークにおいて,モデルの性能を用いて授業の難易度を予測することを学習するDifficulty-Netを提案する。
クラスが他のクラスのコンテキストで合理的に難易度を学習できるようにするため,相対的難易度と運転者損失という2つの重要な概念を新たに導入する。
前者はDifficulty-Netがクラスの難易度を計算する際に他のクラスを考慮に入れ、後者は学習を意味のある方向に導くのに不可欠である。
一般的なロングテールデータセットに対する大規模な実験により提案手法の有効性が示され、複数のロングテールデータセットに対して最先端の性能を達成した。
関連論文リスト
- Granularity Matters in Long-Tail Learning [62.30734737735273]
より粒度の細かいデータセットは、データの不均衡の影響を受けにくい傾向があります。
既存のクラスと視覚的に類似したオープンセット補助クラスを導入し、頭と尾の両方の表現学習を強化することを目的とした。
補助授業の圧倒的な存在がトレーニングを混乱させるのを防ぐために,近隣のサイレンシング障害を導入する。
論文 参考訳（メタデータ） (2024-10-21T13:06:21Z) - The Unreasonable Effectiveness of Easy Training Data for Hard Tasks [84.30018805150607]
既存の事前学習言語モデルが比較的容易にハードなデータから一般化されることがしばしばあるという驚くべき結論を提示する。
本稿では,テキスト内学習,線形ヘッド,QLoRAなどの簡単な微調整手法を用いて,このような難解な一般化を実演する。
本研究は, LMの難解な一般化が, 研究課題に対して驚くほど強いことを結論づける。
論文 参考訳（メタデータ） (2024-01-12T18:36:29Z) - APAM: Adaptive Pre-training and Adaptive Meta Learning in Language Model
for Noisy Labels and Long-tailed Learning [9.433150673299163]
実用的な自然言語処理(NLP)タスクは、一般的にノイズの多いラベルで長い尾を持つ。
オーバーサンプリングやアンダーサンプリングなどの一般的な再サンプリング技術は、容易にオーバーフィッティングに繋がる可能性がある。
本稿では,ロングテールラベルとノイズラベルの両方の問題に対処する一般的なフレームワークを提案する。
論文 参考訳（メタデータ） (2023-02-06T18:40:04Z) - Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。
従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。
ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。
提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
論文 参考訳（メタデータ） (2022-08-04T10:22:24Z) - Class-Difficulty Based Methods for Long-Tailed Visual Recognition [6.875312133832079]
ロングテールデータセットは、クラスやカテゴリが他のクラスよりも多くのデータサンプルを持つ実際のユースケースで頻繁に発生する。
そこで本研究では,モデルの学習段階における各クラスの瞬時難易度を動的に測定する手法を提案する。
また,各学級の難易度尺度を用いて,学級難易度ベース重み付けと呼ばれる新しい学級難易度ベース重み付け手法と,学級難易度ベースサンプリングと呼ばれる新学級データサンプリング手法を設計する。
論文 参考訳（メタデータ） (2022-07-29T06:33:22Z) - Prototype-Anchored Learning for Learning with Imperfect Annotations [83.7763875464011]
不完全な注釈付きデータセットからバイアスのない分類モデルを学ぶことは困難である。
本稿では,様々な学習に基づく分類手法に容易に組み込むことができるプロトタイプ・アンコレッド学習法を提案する。
我々は,PALがクラス不均衡学習および耐雑音学習に与える影響を,合成および実世界のデータセットに関する広範な実験により検証した。
論文 参考訳（メタデータ） (2022-06-23T10:25:37Z) - Let the Model Decide its Curriculum for Multitask Learning [22.043291547405545]
モデルに基づくアプローチによって計算される難易度に基づく学習カリキュラムにトレーニングインスタンスを配置する手法を2種類提案する。
インスタンスレベルとデータセットレベルの技術は、それぞれのベースラインに対して平均4.17%と3.15%のパフォーマンス向上をもたらすため、強い表現をもたらすことを示す。
論文 参考訳（メタデータ） (2022-05-19T23:34:22Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳（メタデータ） (2022-02-11T13:49:51Z) - Class-Wise Difficulty-Balanced Loss for Solving Class-Imbalance [6.875312133832079]
そこで本研究では,クラスワイド・バランサード・ロスと呼ばれる新しい損失関数を提案する。
サンプルが属するクラスの難易度に応じて、各サンプルに動的に重みを分配する。
その結果、CDB損失はクラス不均衡データセットにおける最近提案された損失関数よりも一貫して優れていた。
論文 参考訳（メタデータ） (2020-10-05T07:19:19Z) - The Devil is the Classifier: Investigating Long Tail Relation
Classification with Decoupling Analysis [36.298869931803836]
ロングテール関係分類は、ヘッドクラスがトレーニングフェーズを支配しているため、難しい問題である。
そこで本研究では,関係を自動的に集約することで,ソフトウェイトを割り当てる,注意関係ルーティング付きロバストな分類器を提案する。
論文 参考訳（メタデータ） (2020-09-15T12:47:00Z) - Long-Tailed Recognition Using Class-Balanced Experts [128.73438243408393]
本稿では,多様な分類器の強度を組み合わせたクラスバランスの専門家のアンサンブルを提案する。
私たちのクラスバランスの専門家のアンサンブルは、最先端に近い結果に到達し、長い尾の認識のための2つのベンチマークで新たな最先端のアンサンブルを確立します。
論文 参考訳（メタデータ） (2020-04-07T20:57:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。