論文の概要: The Impact of the Single-Label Assumption in Image Recognition Benchmarking
- arxiv url: http://arxiv.org/abs/2412.18409v2
- Date: Wed, 28 May 2025 01:15:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-29 15:04:27.036896
- Title: The Impact of the Single-Label Assumption in Image Recognition Benchmarking
- Title（参考訳）: 画像認識ベンチマークにおけるシングルラベル推定の影響
- Authors: Esla Timothy Anzaku, Seyed Amir Mousavi, Arnout Van Messem, Wesley De Neve,
- Abstract要約: ディープニューラルネットワーク(DNN)は通常、各画像が単一の正しいラベルを持つという仮定の下で評価される。
ImageNetのようなベンチマークの多くの画像には、複数の有効なラベルが含まれており、評価プロトコルと実際の視覚データの複雑さのミスマッチを生成する。
報告された精度ギャップに対するマルチラベル特性の影響を厳格に評価する。
- 参考スコア（独自算出の注目度）: 1.4828022319975973
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks (DNNs) are typically evaluated under the assumption that each image has a single correct label. However, many images in benchmarks like ImageNet contain multiple valid labels, creating a mismatch between evaluation protocols and the actual complexity of visual data. This mismatch can penalize DNNs for predicting correct but unannotated labels, which may partly explain reported accuracy drops, such as the widely cited 11 to 14 percent top-1 accuracy decline on ImageNetV2, a replication test set for ImageNet. This raises the question: do such drops reflect genuine generalization failures or artifacts of restrictive evaluation metrics? We rigorously assess the impact of multi-label characteristics on reported accuracy gaps. To evaluate the multi-label prediction capability (MLPC) of single-label-trained models, we introduce a variable top-$k$ evaluation, where $k$ matches the number of valid labels per image. Applied to 315 ImageNet-trained models, our analyses demonstrate that conventional top-1 accuracy disproportionately penalizes valid but secondary predictions. We also propose Aggregate Subgroup Model Accuracy (ASMA) to better capture multi-label performance across model subgroups. Our results reveal wide variability in MLPC, with some models consistently ranking multiple correct labels higher. Under this evaluation, the perceived gap between ImageNet and ImageNetV2 narrows substantially. To further isolate multi-label recognition performance from contextual cues, we introduce PatchML, a synthetic dataset containing systematically combined object patches. PatchML demonstrates that many models trained with single-label supervision nonetheless recognize multiple objects. Altogether, these findings highlight limitations in single-label evaluation and reveal that modern DNNs have stronger multi-label capabilities than standard metrics suggest.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は通常、各画像が単一の正しいラベルを持つという仮定の下で評価される。
しかし、ImageNetのようなベンチマークの多くの画像には複数の有効なラベルが含まれており、評価プロトコルと実際の視覚データの複雑さのミスマッチを生成する。
このミスマッチは、正確なラベルを予測するためにDNNをペナルティ化することができる。これは、広く引用されているImageNetV2の11%から14%のトップ-1の精度低下など、報告された精度低下を部分的に説明することができる。
このような落とし穴は、真の一般化の失敗や限定的な評価指標の成果を反映しているのだろうか?
報告された精度ギャップに対するマルチラベル特性の影響を厳格に評価する。
シングルラベル学習モデルのマルチラベル予測能力 (MLPC) を評価するために,k$が画像毎の有効なラベル数と一致するような可変のトップ-$k$評価を導入する。
315 画像ネット学習モデルに適用し,従来の Top-1 の精度が有効だが二次的な予測を不均一に行うことを示した。
また,Aggregate Subgroup Model Accuracy (ASMA) を提案する。
MLPCでは,複数の正しいラベルを常に上位にランク付けするモデルが存在する。
この評価では、ImageNetとImageNetV2の差が大幅に狭まる。
文脈的手がかりからマルチラベル認識性能をさらに分離するために、系統的に組み合わせたオブジェクトパッチを含む合成データセットであるPatchMLを紹介した。
PatchMLは、シングルラベルでトレーニングされた多くのモデルが、にもかかわらず複数のオブジェクトを認識することを示した。
さらに、これらの知見はシングルラベル評価の限界を強調し、現代のDNNが標準メトリクスよりも強力なマルチラベル能力を持つことを明らかにする。
関連論文リスト
- ImagiNet: A Multi-Content Benchmark for Synthetic Image Detection [0.0]
私たちは、写真、絵画、顔、雑多な4つのカテゴリにまたがる200万のサンプルのデータセットであるImagiNetを紹介します。
ImagiNetの合成画像はオープンソースとプロプライエタリの両方のジェネレータで作成され、各コンテントタイプの実際の画像はパブリックデータセットから収集される。
論文 参考訳（メタデータ） (2024-07-29T13:57:24Z) - ImageNet-D: Benchmarking Neural Network Robustness on Diffusion Synthetic Object [78.58860252442045]
我々は、深層モデルの堅牢性をベンチマークするハードイメージのためのデータソースとして、生成モデルを紹介した。
このベンチマークを ImageNet-D と呼ぶ以前の作業よりも、背景、テクスチャ、材料が多様化したイメージを生成することができます。
我々の研究は、拡散モデルが視覚モデルをテストするのに効果的な情報源となることを示唆している。
論文 参考訳（メタデータ） (2024-03-27T17:23:39Z) - Robustifying Deep Vision Models Through Shape Sensitization [19.118696557797957]
そこで本研究では,ネットワークの全体像を学習するためのインセンティブを明示的に付与する,シンプルで軽量な対向拡張手法を提案する。
我々の拡張は、ランダムに決定された混合比を用いて、シャッフルパッチで、ある画像から別の画像へのエッジマップを重畳する。
この拡張により,データセットやニューラルアーキテクチャの分類精度とロバストネスが大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-11-14T11:17:46Z) - Image Quality Assessment using Contrastive Learning [50.265638572116984]
我々は、補助的な問題を解決するために、対照的な対の目的を用いて深層畳み込みニューラルネットワーク(CNN)を訓練する。
本研究では,最新のNR画像品質モデルと比較して,ContriQUEが競争性能を向上することを示す。
以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
論文 参考訳（メタデータ） (2021-10-25T21:01:00Z) - Uncertainty-Aware Semi-Supervised Few Shot Segmentation [9.098329723771116]
少ないショットセグメンテーション(FSS)は、いくつかのアノテーション付きサポートサンプルを使用して、クエリ画像中の対象オブジェクトのピクセルレベルの分類を学習することを目的としている。
これは、ターゲットオブジェクトの外観のバリエーションをモデル化し、クエリとサポートイメージの間の多様な視覚的手がかりを限られた情報で表現する必要があるため、難しい。
本研究では,不確実性のあるラベル付き画像から新たなプロトタイプを活用できる半教師付きFSS戦略を提案する。
論文 参考訳（メタデータ） (2021-10-18T00:37:46Z) - To be Critical: Self-Calibrated Weakly Supervised Learning for Salient
Object Detection [95.21700830273221]
弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。
擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。
十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
論文 参考訳（メタデータ） (2021-09-04T02:45:22Z) - If your data distribution shifts, use self-learning [24.23584770840611]
エントロピーや擬似ラベルのような自己学習技術は、体系的なドメインシフトの下でのコンピュータビジョンモデルの性能向上にシンプルかつ効果的である。
我々は広範囲にわたる大規模な実験を行い、モデルアーキテクチャに関係なく一貫した改善を示す。
論文 参考訳（メタデータ） (2021-04-27T01:02:15Z) - Automated Cleanup of the ImageNet Dataset by Model Consensus,
Explainability and Confident Learning [0.0]
ImageNetは、ILSVRC12Netでトレーニングされた様々な畳み込みニューラルネットワーク(CNN)のバックボーンである。
本稿では,モデルのコンセンサス,説明可能性,自信のある学習に基づく自動アプリケーションについて述べる。
ImageNet-CleanはSqueezeNetおよびEfficientNet-B0モデルのモデルパフォーマンスを2-2.4%向上させる。
論文 参考訳（メタデータ） (2021-03-30T13:16:35Z) - W2WNet: a two-module probabilistic Convolutional Neural Network with
embedded data cleansing functionality [2.695466667982714]
wise2wipednet (w2wnet) は新しい2モジュール畳み込みニューラルネットワークである。
Wiseモジュールはベイズ推定を利用してトレーニング中にスプリアス画像を特定し、破棄する。
消去されたモジュールは、推測時の予測信頼度に関する情報を放送しながら最終分類を処理する。
論文 参考訳（メタデータ） (2021-03-24T11:28:59Z) - Are we done with ImageNet? [86.01120671361844]
我々は、ImageNetバリデーションセットの人間のアノテーションを収集するための、より堅牢な手順を開発する。
我々は最近提案されたImageNet分類器の精度を再評価し、その精度は元のラベルで報告されたものよりもかなり小さいことがわかった。
オリジナルのImageNetラベルは、もはやこの独立に収集されたセットの最良の予測者ではなく、ビジョンモデルの評価における彼らの有用性が終わりに近づいていることを示している。
論文 参考訳（メタデータ） (2020-06-12T13:17:25Z) - From ImageNet to Image Classification: Contextualizing Progress on
Benchmarks [99.19183528305598]
ImageNet作成プロセスにおける特定の設計選択が、結果のデータセットの忠実性に与える影響について検討する。
私たちの分析では、ノイズの多いデータ収集パイプラインが、結果のベンチマークと、それがプロキシとして機能する実世界のタスクとの間に、体系的なミスアライメントをもたらす可能性があることを指摘しています。
論文 参考訳（メタデータ） (2020-05-22T17:39:16Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。