論文の概要: Few-Shot Image Classification Benchmarks are Too Far From Reality: Build
Back Better with Semantic Task Sampling
- arxiv url: http://arxiv.org/abs/2205.05155v1
- Date: Tue, 10 May 2022 20:25:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-14 06:57:27.690108
- Title: Few-Shot Image Classification Benchmarks are Too Far From Reality: Build
Back Better with Semantic Task Sampling
- Title（参考訳）: 数少ない画像分類ベンチマークは現実には遠く及ばない - セマンティックタスクサンプリングによるビルドバックの改善
- Authors: Etienne Bennequin, Myriam Tami, Antoine Toubhans, Celine Hudelot
- Abstract要約: デンマークのFungi 2020データセットを用いたFew-Shot画像分類のための新しいベンチマークを提案する。
本ベンチマークでは,様々な微粒度を用いた多種多様な評価課題を提案する。
本実験は,タスクの難易度とクラス間の意味的類似度との間に相関関係を生じさせる。
- 参考スコア（独自算出の注目度）: 4.855663359344748
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Every day, a new method is published to tackle Few-Shot Image Classification,
showing better and better performances on academic benchmarks. Nevertheless, we
observe that these current benchmarks do not accurately represent the real
industrial use cases that we encountered. In this work, through both
qualitative and quantitative studies, we expose that the widely used benchmark
tieredImageNet is strongly biased towards tasks composed of very semantically
dissimilar classes e.g. bathtub, cabbage, pizza, schipperke, and cardoon. This
makes tieredImageNet (and similar benchmarks) irrelevant to evaluate the
ability of a model to solve real-life use cases usually involving more
fine-grained classification. We mitigate this bias using semantic information
about the classes of tieredImageNet and generate an improved, balanced
benchmark. Going further, we also introduce a new benchmark for Few-Shot Image
Classification using the Danish Fungi 2020 dataset. This benchmark proposes a
wide variety of evaluation tasks with various fine-graininess. Moreover, this
benchmark includes many-way tasks (e.g. composed of 100 classes), which is a
challenging setting yet very common in industrial applications. Our experiments
bring out the correlation between the difficulty of a task and the semantic
similarity between its classes, as well as a heavy performance drop of
state-of-the-art methods on many-way few-shot classification, raising questions
about the scaling abilities of these methods. We hope that our work will
encourage the community to further question the quality of standard evaluation
processes and their relevance to real-life applications.
- Abstract（参考訳）: 毎日、Few-Shotイメージ分類に取り組む新しい方法が公開され、学術ベンチマークのパフォーマンスが向上している。
しかしながら、これらのベンチマークは、我々が遭遇した実際の産業ユースケースを正確に表現していない。
本研究では,定性的かつ定量的な研究を通じて,バスタブ,キャベツ,ピザ,シッパーケ,カードーンなど,非常に意味的に異なるクラスからなるタスクに対して,広く使用されているベンチマーク階層イメージネットが強く偏っていることを明らかにした。
これによりtieredimagenet(および類似のベンチマーク)は、通常よりきめ細かい分類を伴う実際のユースケースを解決するモデルの能力を評価することができない。
このバイアスを、tieredimagenetのクラスに関するセマンティック情報を使って軽減し、改善されたバランスのとれたベンチマークを生成する。
さらに,デンマークのfungi 2020データセットを用いた,マイナショット画像分類の新しいベンチマークも紹介する。
本ベンチマークでは,様々な微粒度を用いた多種多様な評価課題を提案する。
さらに、このベンチマークには多方向タスク(例えば100のクラスで構成されている)が含まれており、産業アプリケーションでは非常に一般的である。
提案手法は,課題の難易度とクラス間の意味的類似性,多方向の少数ショット分類における最先端メソッドのパフォーマンス低下と相関関係を示し,これらの手法のスケーリング能力に関する疑問を提起する。
我々は、コミュニティが標準評価プロセスの品質と実際のアプリケーションとの関連性にさらに疑問を呈することを願っている。
関連論文リスト
- Inherent Trade-Offs between Diversity and Stability in Multi-Task Benchmarks [20.24270790628136]
社会的選択論のレンズを用いた機械学習におけるマルチタスクベンチマークについて検討する。
ベンチマークの多様性が増すほど、自明な変更に敏感になることが示されます。
論文 参考訳（メタデータ） (2024-05-02T20:28:54Z) - Classes Are Not Equal: An Empirical Study on Image Recognition Fairness [100.36114135663836]
我々は,クラスが等しくないことを実験的に証明し,様々なデータセットにまたがる画像分類モデルにおいて,公平性の問題が顕著であることを示した。
以上の結果から,モデルでは認識が困難であるクラスに対して,予測バイアスが大きくなる傾向が示唆された。
データ拡張および表現学習アルゴリズムは、画像分類のある程度の公平性を促進することにより、全体的なパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2024-02-28T07:54:50Z) - When Benchmarks are Targets: Revealing the Sensitivity of Large Language Model Leaderboards [9.751405901938895]
既存のリーダーボードでは,LLMの相対的な性能は細部まで非常に敏感であることが示されている。
一般的なマルチチョイス質問ベンチマーク(MMLUなど)では、選択の順序や解答の選択方法の変更など、ベンチマークに対する小さな摂動が最大8位までランクが変更されることが示されている。
論文 参考訳（メタデータ） (2024-02-01T19:12:25Z) - Fine-Grained ImageNet Classification in the Wild [0.0]
ロバストネステストは、典型的なモデル評価段階で気づかないいくつかの脆弱性やバイアスを明らかにすることができる。
本研究では,階層的知識の助けを借りて,密接に関連するカテゴリのきめ細かい分類を行う。
論文 参考訳（メタデータ） (2023-03-04T12:25:07Z) - Class-Incremental Learning: A Survey [84.30083092434938]
CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。
CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。
ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
論文 参考訳（メタデータ） (2023-02-07T17:59:05Z) - Benchopt: Reproducible, efficient and collaborative optimization
benchmarks [67.29240500171532]
Benchoptは、機械学習で最適化ベンチマークを自動化、再生、公開するためのフレームワークである。
Benchoptは実験を実行、共有、拡張するための既製のツールを提供することで、コミュニティのベンチマークを簡単にする。
論文 参考訳（メタデータ） (2022-06-27T16:19:24Z) - A Closer Look at Few-Shot Video Classification: A New Baseline and
Benchmark [33.86872697028233]
本研究は,3つのコントリビューションを生かした映像分類の詳細な研究である。
まず,既存のメートル法を一貫した比較研究を行い,表現学習の限界を明らかにする。
第2に,新しいアクションクラスとImageNetオブジェクトクラスとの間には高い相関関係があることが判明した。
第3に,事前学習をせずに将来的な数ショットビデオ分類を容易にするため,より多くのベースデータを持つ新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2021-10-24T06:01:46Z) - A Contrastive Learning Approach to Auroral Identification and
Classification [0.8399688944263843]
オーロラ画像分類の課題に対する教師なし学習の新たな応用法を提案する。
オーロラ画像の表現を学習するためのコントラスト学習(SimCLR)アルゴリズムを改良し,適応する。
当社のアプローチは、運用目的の確立されたしきい値を超え、デプロイメントと利用の準備ができていることを実証しています。
論文 参考訳（メタデータ） (2021-09-28T17:51:25Z) - Multi-Label Image Classification with Contrastive Learning [57.47567461616912]
コントラスト学習の直接適用は,複数ラベルの場合においてほとんど改善できないことを示す。
完全教師付き環境下でのコントラスト学習を用いたマルチラベル分類のための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-07-24T15:00:47Z) - Region Comparison Network for Interpretable Few-shot Image
Classification [97.97902360117368]
新しいクラスのモデルをトレーニングするために、ラベル付きサンプルの限られた数だけを効果的に活用するための画像分類が提案されている。
本研究では,領域比較ネットワーク (RCN) と呼ばれる距離学習に基づく手法を提案する。
また,タスクのレベルからカテゴリへの解釈可能性の一般化も提案する。
論文 参考訳（メタデータ） (2020-09-08T07:29:05Z) - I Am Going MAD: Maximum Discrepancy Competition for Comparing
Classifiers Adaptively [135.7695909882746]
我々は、MAD(Maximum Discrepancy)コンペティションを命名する。
任意に大きいラベル付き画像のコーパスから小さなテストセットを適応的にサンプリングする。
結果のモデル依存画像集合に人間のラベルを付けると、競合する分類器の相対的な性能が明らかになる。
論文 参考訳（メタデータ） (2020-02-25T03:32:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。