論文の概要: Few-Shot Image Classification Benchmarks are Too Far From Reality: Build
Back Better with Semantic Task Sampling
- arxiv url: http://arxiv.org/abs/2205.05155v1
- Date: Tue, 10 May 2022 20:25:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-14 06:57:27.690108
- Title: Few-Shot Image Classification Benchmarks are Too Far From Reality: Build
Back Better with Semantic Task Sampling
- Title(参考訳): 数少ない画像分類ベンチマークは現実には遠く及ばない - セマンティックタスクサンプリングによるビルドバックの改善
- Authors: Etienne Bennequin, Myriam Tami, Antoine Toubhans, Celine Hudelot
- Abstract要約: デンマークのFungi 2020データセットを用いたFew-Shot画像分類のための新しいベンチマークを提案する。
本ベンチマークでは,様々な微粒度を用いた多種多様な評価課題を提案する。
本実験は,タスクの難易度とクラス間の意味的類似度との間に相関関係を生じさせる。
- 参考スコア(独自算出の注目度): 4.855663359344748
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Every day, a new method is published to tackle Few-Shot Image Classification,
showing better and better performances on academic benchmarks. Nevertheless, we
observe that these current benchmarks do not accurately represent the real
industrial use cases that we encountered. In this work, through both
qualitative and quantitative studies, we expose that the widely used benchmark
tieredImageNet is strongly biased towards tasks composed of very semantically
dissimilar classes e.g. bathtub, cabbage, pizza, schipperke, and cardoon. This
makes tieredImageNet (and similar benchmarks) irrelevant to evaluate the
ability of a model to solve real-life use cases usually involving more
fine-grained classification. We mitigate this bias using semantic information
about the classes of tieredImageNet and generate an improved, balanced
benchmark. Going further, we also introduce a new benchmark for Few-Shot Image
Classification using the Danish Fungi 2020 dataset. This benchmark proposes a
wide variety of evaluation tasks with various fine-graininess. Moreover, this
benchmark includes many-way tasks (e.g. composed of 100 classes), which is a
challenging setting yet very common in industrial applications. Our experiments
bring out the correlation between the difficulty of a task and the semantic
similarity between its classes, as well as a heavy performance drop of
state-of-the-art methods on many-way few-shot classification, raising questions
about the scaling abilities of these methods. We hope that our work will
encourage the community to further question the quality of standard evaluation
processes and their relevance to real-life applications.
- Abstract(参考訳): 毎日、Few-Shotイメージ分類に取り組む新しい方法が公開され、学術ベンチマークのパフォーマンスが向上している。
しかしながら、これらのベンチマークは、我々が遭遇した実際の産業ユースケースを正確に表現していない。
本研究では,定性的かつ定量的な研究を通じて,バスタブ,キャベツ,ピザ,シッパーケ,カードーンなど,非常に意味的に異なるクラスからなるタスクに対して,広く使用されているベンチマーク階層イメージネットが強く偏っていることを明らかにした。
これによりtieredimagenet(および類似のベンチマーク)は、通常よりきめ細かい分類を伴う実際のユースケースを解決するモデルの能力を評価することができない。
このバイアスを、tieredimagenetのクラスに関するセマンティック情報を使って軽減し、改善されたバランスのとれたベンチマークを生成する。
さらに,デンマークのfungi 2020データセットを用いた,マイナショット画像分類の新しいベンチマークも紹介する。
本ベンチマークでは,様々な微粒度を用いた多種多様な評価課題を提案する。
さらに、このベンチマークには多方向タスク(例えば100のクラスで構成されている)が含まれており、産業アプリケーションでは非常に一般的である。
提案手法は,課題の難易度とクラス間の意味的類似性,多方向の少数ショット分類における最先端メソッドのパフォーマンス低下と相関関係を示し,これらの手法のスケーリング能力に関する疑問を提起する。
我々は、コミュニティが標準評価プロセスの品質と実際のアプリケーションとの関連性にさらに疑問を呈することを願っている。
関連論文リスト
- Classes Are Not Equal: An Empirical Study on Image Recognition Fairness [100.36114135663836]
我々は,クラスが等しくないことを実験的に証明し,様々なデータセットにまたがる画像分類モデルにおいて,公平性の問題が顕著であることを示した。
以上の結果から,モデルでは認識が困難であるクラスに対して,予測バイアスが大きくなる傾向が示唆された。
データ拡張および表現学習アルゴリズムは、画像分類のある程度の公平性を促進することにより、全体的なパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2024-02-28T07:54:50Z) - Fairness meets Cross-Domain Learning: a new perspective on Models and
Metrics [80.07271410743806]
クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。
いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。
本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
論文 参考訳(メタデータ) (2023-03-25T09:34:05Z) - What is the state of the art? Accounting for multiplicity in machine
learning benchmark performance [0.0]
SOTAの最大性能を推定として用いることは偏りのある推定器であり、過度に楽観的な結果を与える。
精度が高い場合に、どのように影響が制限されるかを示す。
実世界の例である、2020年のKaggleコンペティションについて論じる。
論文 参考訳(メタデータ) (2023-03-10T10:32:18Z) - Fine-Grained ImageNet Classification in the Wild [0.0]
ロバストネステストは、典型的なモデル評価段階で気づかないいくつかの脆弱性やバイアスを明らかにすることができる。
本研究では,階層的知識の助けを借りて,密接に関連するカテゴリのきめ細かい分類を行う。
論文 参考訳(メタデータ) (2023-03-04T12:25:07Z) - The Curse of Low Task Diversity: On the Failure of Transfer Learning to
Outperform MAML and Their Empirical Equivalence [20.965759895300327]
数ショットの学習ベンチマークでタスクの多様性を測定するための新しい指標である多様性係数を提案する。
多様性係数を用いて、人気の MiniImageNet と CIFAR-FS の少数ショット学習ベンチマークの多様性が低いことを示す。
論文 参考訳(メタデータ) (2022-08-02T15:49:11Z) - Benchopt: Reproducible, efficient and collaborative optimization
benchmarks [67.29240500171532]
Benchoptは、機械学習で最適化ベンチマークを自動化、再生、公開するためのフレームワークである。
Benchoptは実験を実行、共有、拡張するための既製のツールを提供することで、コミュニティのベンチマークを簡単にする。
論文 参考訳(メタデータ) (2022-06-27T16:19:24Z) - A Closer Look at Few-Shot Video Classification: A New Baseline and
Benchmark [33.86872697028233]
本研究は,3つのコントリビューションを生かした映像分類の詳細な研究である。
まず,既存のメートル法を一貫した比較研究を行い,表現学習の限界を明らかにする。
第2に,新しいアクションクラスとImageNetオブジェクトクラスとの間には高い相関関係があることが判明した。
第3に,事前学習をせずに将来的な数ショットビデオ分類を容易にするため,より多くのベースデータを持つ新しいベンチマークを提案する。
論文 参考訳(メタデータ) (2021-10-24T06:01:46Z) - A Contrastive Learning Approach to Auroral Identification and
Classification [0.8399688944263843]
オーロラ画像分類の課題に対する教師なし学習の新たな応用法を提案する。
オーロラ画像の表現を学習するためのコントラスト学習(SimCLR)アルゴリズムを改良し,適応する。
当社のアプローチは、運用目的の確立されたしきい値を超え、デプロイメントと利用の準備ができていることを実証しています。
論文 参考訳(メタデータ) (2021-09-28T17:51:25Z) - Multi-Label Image Classification with Contrastive Learning [57.47567461616912]
コントラスト学習の直接適用は,複数ラベルの場合においてほとんど改善できないことを示す。
完全教師付き環境下でのコントラスト学習を用いたマルチラベル分類のための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-07-24T15:00:47Z) - Region Comparison Network for Interpretable Few-shot Image
Classification [97.97902360117368]
新しいクラスのモデルをトレーニングするために、ラベル付きサンプルの限られた数だけを効果的に活用するための画像分類が提案されている。
本研究では,領域比較ネットワーク (RCN) と呼ばれる距離学習に基づく手法を提案する。
また,タスクのレベルからカテゴリへの解釈可能性の一般化も提案する。
論文 参考訳(メタデータ) (2020-09-08T07:29:05Z) - I Am Going MAD: Maximum Discrepancy Competition for Comparing
Classifiers Adaptively [135.7695909882746]
我々は、MAD(Maximum Discrepancy)コンペティションを命名する。
任意に大きいラベル付き画像のコーパスから小さなテストセットを適応的にサンプリングする。
結果のモデル依存画像集合に人間のラベルを付けると、競合する分類器の相対的な性能が明らかになる。
論文 参考訳(メタデータ) (2020-02-25T03:32:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。