論文の概要: The Impact of the Single-Label Assumption in Image Recognition Benchmarking

• arxiv url: http://arxiv.org/abs/2412.18409v2
• Date: Wed, 28 May 2025 01:15:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 15:04:27.036896
• Title: The Impact of the Single-Label Assumption in Image Recognition Benchmarking
• Title（参考訳）: 画像認識ベンチマークにおけるシングルラベル推定の影響
• Authors: Esla Timothy Anzaku, Seyed Amir Mousavi, Arnout Van Messem, Wesley De Neve,
• Abstract要約: ディープニューラルネットワーク(DNN)は通常、各画像が単一の正しいラベルを持つという仮定の下で評価される。 ImageNetのようなベンチマークの多くの画像には、複数の有効なラベルが含まれており、評価プロトコルと実際の視覚データの複雑さのミスマッチを生成する。 報告された精度ギャップに対するマルチラベル特性の影響を厳格に評価する。
• 参考スコア（独自算出の注目度）: 1.4828022319975973
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) are typically evaluated under the assumption that each image has a single correct label. However, many images in benchmarks like ImageNet contain multiple valid labels, creating a mismatch between evaluation protocols and the actual complexity of visual data. This mismatch can penalize DNNs for predicting correct but unannotated labels, which may partly explain reported accuracy drops, such as the widely cited 11 to 14 percent top-1 accuracy decline on ImageNetV2, a replication test set for ImageNet. This raises the question: do such drops reflect genuine generalization failures or artifacts of restrictive evaluation metrics? We rigorously assess the impact of multi-label characteristics on reported accuracy gaps. To evaluate the multi-label prediction capability (MLPC) of single-label-trained models, we introduce a variable top-$k$ evaluation, where $k$ matches the number of valid labels per image. Applied to 315 ImageNet-trained models, our analyses demonstrate that conventional top-1 accuracy disproportionately penalizes valid but secondary predictions. We also propose Aggregate Subgroup Model Accuracy (ASMA) to better capture multi-label performance across model subgroups. Our results reveal wide variability in MLPC, with some models consistently ranking multiple correct labels higher. Under this evaluation, the perceived gap between ImageNet and ImageNetV2 narrows substantially. To further isolate multi-label recognition performance from contextual cues, we introduce PatchML, a synthetic dataset containing systematically combined object patches. PatchML demonstrates that many models trained with single-label supervision nonetheless recognize multiple objects. Altogether, these findings highlight limitations in single-label evaluation and reveal that modern DNNs have stronger multi-label capabilities than standard metrics suggest.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は通常、各画像が単一の正しいラベルを持つという仮定の下で評価される。 しかし、ImageNetのようなベンチマークの多くの画像には複数の有効なラベルが含まれており、評価プロトコルと実際の視覚データの複雑さのミスマッチを生成する。 このミスマッチは、正確なラベルを予測するためにDNNをペナルティ化することができる。これは、広く引用されているImageNetV2の11%から14%のトップ-1の精度低下など、報告された精度低下を部分的に説明することができる。 このような落とし穴は、真の一般化の失敗や限定的な評価指標の成果を反映しているのだろうか? 報告された精度ギャップに対するマルチラベル特性の影響を厳格に評価する。 シングルラベル学習モデルのマルチラベル予測能力 (MLPC) を評価するために,k$が画像毎の有効なラベル数と一致するような可変のトップ-$k$評価を導入する。 315 画像ネット学習モデルに適用し,従来の Top-1 の精度が有効だが二次的な予測を不均一に行うことを示した。 また,Aggregate Subgroup Model Accuracy (ASMA) を提案する。 MLPCでは,複数の正しいラベルを常に上位にランク付けするモデルが存在する。 この評価では、ImageNetとImageNetV2の差が大幅に狭まる。 文脈的手がかりからマルチラベル認識性能をさらに分離するために、系統的に組み合わせたオブジェクトパッチを含む合成データセットであるPatchMLを紹介した。 PatchMLは、シングルラベルでトレーニングされた多くのモデルが、にもかかわらず複数のオブジェクトを認識することを示した。 さらに、これらの知見はシングルラベル評価の限界を強調し、現代のDNNが標準メトリクスよりも強力なマルチラベル能力を持つことを明らかにする。

関連論文リスト

• When VLMs Meet Image Classification: Test Sets Renovation via Missing Label Identification [11.49089004019603]
  本稿では,画像分類テストセットにおけるノイズラベルと欠落ラベルの両方に対処するため,REVEALという包括的フレームワークを提案する。 REVEALは潜在的なノイズのあるラベルや欠落を検出し、様々な方法から予測を集約し、信頼性インフォームド予測とコンセンサスに基づくフィルタリングによってラベルの精度を向上する。 提案手法は,公開データセットから欠落したラベルを効果的に明らかにし,ソフトラベルによる結果に可能性が示唆された。
  論文  参考訳（メタデータ） (2025-05-22T02:47:36Z)
• Adaptive Hierarchical Graph Cut for Multi-granularity Out-of-distribution Detection [10.200872243175183]
  本稿では,配布外検知(OOD検出)という重要な課題に焦点をあてる。 これまでの作業はまともな成功を収めましたが、現実の挑戦的なアプリケーションには効果がありません。 本稿では,異なる画像間の意味的関係を探索するために,適応階層型グラフカットネットワーク(AHGC)を提案する。
  論文  参考訳（メタデータ） (2024-12-20T08:32:02Z)
• ImagiNet: A Multi-Content Benchmark for Synthetic Image Detection [0.0]
  私たちは、写真、絵画、顔、雑多な4つのカテゴリにまたがる200万のサンプルのデータセットであるImagiNetを紹介します。 ImagiNetの合成画像はオープンソースとプロプライエタリの両方のジェネレータで作成され、各コンテントタイプの実際の画像はパブリックデータセットから収集される。
  論文  参考訳（メタデータ） (2024-07-29T13:57:24Z)
• Dynamic Correlation Learning and Regularization for Multi-Label Confidence Calibration [60.95748658638956]
  本稿では,多ラベルシナリオにおける信頼度を適切に評価することを目的としたマルチラベル信頼性タスクを提案する。 既存のシングルラベルキャリブレーション手法では、セマンティックな混乱に対処するために欠かせないカテゴリ相関を考慮できない。 本稿では,多粒度セマンティック相関を利用した動的相関学習と正規化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-09T13:26:21Z)
• ImageNet-D: Benchmarking Neural Network Robustness on Diffusion Synthetic Object [78.58860252442045]
  我々は、深層モデルの堅牢性をベンチマークするハードイメージのためのデータソースとして、生成モデルを紹介した。 このベンチマークを ImageNet-D と呼ぶ以前の作業よりも、背景、テクスチャ、材料が多様化したイメージを生成することができます。 我々の研究は、拡散モデルが視覚モデルをテストするのに効果的な情報源となることを示唆している。
  論文  参考訳（メタデータ） (2024-03-27T17:23:39Z)
• Intrinsic Self-Supervision for Data Quality Audits [35.69673085324971]
  コンピュータビジョンにおけるベンチマークデータセットは、しばしば、オフトピック画像、ほぼ重複、ラベルエラーを含む。 本稿では,データクリーニングの課題を再考し,ランキング問題やスコアリング問題として定式化する。 文脈認識型自己教師型表現学習と距離に基づく指標の組み合わせは, 適応バイアスのない問題発見に有効であることがわかった。
  論文  参考訳（メタデータ） (2023-05-26T15:57:04Z)
• Semi-Supervised Learning with Pseudo-Negative Labels for Image Classification [14.100569951592417]
  擬陰性ラベルに基づく相互学習フレームワークを提案する。 擬似負ラベルの予測確率を下げることにより、二重モデルは予測能力を向上させることができる。 我々のフレームワークは、いくつかの主要なベンチマークで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-01-10T14:15:17Z)
• Category-Adaptive Label Discovery and Noise Rejection for Multi-label Image Recognition with Partial Positive Labels [78.88007892742438]
  部分正ラベル(MLR-PPL)を用いたマルチラベルモデルの訓練が注目されている。 これまでの研究では、未知のラベルを負とみなし、従来のMLRアルゴリズムを採用した。 我々は,MLR-PPLタスクを容易にするために,異なる画像間の意味的相関について検討する。
  論文  参考訳（メタデータ） (2022-11-15T02:11:20Z)
• Robustifying Deep Vision Models Through Shape Sensitization [19.118696557797957]
  そこで本研究では,ネットワークの全体像を学習するためのインセンティブを明示的に付与する,シンプルで軽量な対向拡張手法を提案する。 我々の拡張は、ランダムに決定された混合比を用いて、シャッフルパッチで、ある画像から別の画像へのエッジマップを重畳する。 この拡張により,データセットやニューラルアーキテクチャの分類精度とロバストネスが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-11-14T11:17:46Z)
• Dual-Perspective Semantic-Aware Representation Blending for Multi-Label Image Recognition with Partial Labels [70.36722026729859]
  本稿では,多粒度カテゴリ固有の意味表現を異なる画像にブレンドした,二重パースペクティブな意味認識表現ブレンディング(DSRB)を提案する。 提案したDSは、すべての比率ラベル設定において、最先端のアルゴリズムを一貫して上回っている。
  論文  参考訳（メタデータ） (2022-05-26T00:33:44Z)
• Learning Self-Supervised Low-Rank Network for Single-Stage Weakly and Semi-Supervised Semantic Segmentation [119.009033745244]
  本稿では,単一段階弱教師付きセマンティックセマンティックセマンティックセマンティクス(WSSS)と半教師付きセマンティクスセマンティクスセマンティクス(SSSS)のための自己教師付き低ランクネットワーク(SLRNet)を提案する。 SLRNetは、画像の異なるビューから複数の注意深いLR表現を同時に予測し、正確な擬似ラベルを学習する。 Pascal VOC 2012、COCO、L2IDデータセットの実験では、SLRNetは最先端のWSSSメソッドとSSSSメソッドの両方で、さまざまな設定で優れています。
  論文  参考訳（メタデータ） (2022-03-19T09:19:55Z)
• Image Quality Assessment using Contrastive Learning [50.265638572116984]
  我々は、補助的な問題を解決するために、対照的な対の目的を用いて深層畳み込みニューラルネットワーク(CNN)を訓練する。 本研究では,最新のNR画像品質モデルと比較して,ContriQUEが競争性能を向上することを示す。 以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
  論文  参考訳（メタデータ） (2021-10-25T21:01:00Z)
• Uncertainty-Aware Semi-Supervised Few Shot Segmentation [9.098329723771116]
  少ないショットセグメンテーション(FSS)は、いくつかのアノテーション付きサポートサンプルを使用して、クエリ画像中の対象オブジェクトのピクセルレベルの分類を学習することを目的としている。 これは、ターゲットオブジェクトの外観のバリエーションをモデル化し、クエリとサポートイメージの間の多様な視覚的手がかりを限られた情報で表現する必要があるため、難しい。 本研究では,不確実性のあるラベル付き画像から新たなプロトタイプを活用できる半教師付きFSS戦略を提案する。
  論文  参考訳（メタデータ） (2021-10-18T00:37:46Z)
• To be Critical: Self-Calibrated Weakly Supervised Learning for Salient Object Detection [95.21700830273221]
  弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。 擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。 十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2021-09-04T02:45:22Z)
• A Theory-Driven Self-Labeling Refinement Method for Contrastive Representation Learning [111.05365744744437]
  教師なしのコントラスト学習は、正のイメージの作物と、負のイメージの作物とをラベル付けする。 本研究は, コントラスト学習において, 不正確なラベル割り当てがセマンティック・インスタンス識別の一般化を著しく損なうことを最初に証明する。 この理論に触発されて、コントラスト学習のための新しい自己ラベル改善手法を提案する。
  論文  参考訳（メタデータ） (2021-06-28T14:24:52Z)
• If your data distribution shifts, use self-learning [24.23584770840611]
  エントロピーや擬似ラベルのような自己学習技術は、体系的なドメインシフトの下でのコンピュータビジョンモデルの性能向上にシンプルかつ効果的である。 我々は広範囲にわたる大規模な実験を行い、モデルアーキテクチャに関係なく一貫した改善を示す。
  論文  参考訳（メタデータ） (2021-04-27T01:02:15Z)
• Automated Cleanup of the ImageNet Dataset by Model Consensus, Explainability and Confident Learning [0.0]
  ImageNetは、ILSVRC12Netでトレーニングされた様々な畳み込みニューラルネットワーク(CNN)のバックボーンである。 本稿では,モデルのコンセンサス,説明可能性,自信のある学習に基づく自動アプリケーションについて述べる。 ImageNet-CleanはSqueezeNetおよびEfficientNet-B0モデルのモデルパフォーマンスを2-2.4%向上させる。
  論文  参考訳（メタデータ） (2021-03-30T13:16:35Z)
• W2WNet: a two-module probabilistic Convolutional Neural Network with embedded data cleansing functionality [2.695466667982714]
  wise2wipednet (w2wnet) は新しい2モジュール畳み込みニューラルネットワークである。 Wiseモジュールはベイズ推定を利用してトレーニング中にスプリアス画像を特定し、破棄する。 消去されたモジュールは、推測時の予測信頼度に関する情報を放送しながら最終分類を処理する。
  論文  参考訳（メタデータ） (2021-03-24T11:28:59Z)
• Re-labeling ImageNet: from Single to Multi-Labels, from Global to Localized Labels [34.13899937264952]
  ImageNetは間違いなく最も人気のある画像分類ベンチマークですが、ラベルノイズのかなりのレベルを持つものでもあります。 近年の研究では、シングルラベルベンチマークと仮定されているにもかかわらず、多くのサンプルが複数のクラスを含んでいることが示されている。 私たちは、単一ラベルアノテーションと効果的に複数のラベル画像の間のミスマッチは、ランダムな作物が適用されるトレーニングセットアップにおいて同様に問題であると主張しています。
  論文  参考訳（メタデータ） (2021-01-13T11:55:58Z)
• One-bit Supervision for Image Classification [121.87598671087494]
  1ビットの監視は、不完全なアノテーションから学ぶための新しい設定である。 負ラベル抑圧を既成の半教師付き学習アルゴリズムに組み込んだ多段階学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-09-14T03:06:23Z)
• Are we done with ImageNet? [86.01120671361844]
  我々は、ImageNetバリデーションセットの人間のアノテーションを収集するための、より堅牢な手順を開発する。 我々は最近提案されたImageNet分類器の精度を再評価し、その精度は元のラベルで報告されたものよりもかなり小さいことがわかった。 オリジナルのImageNetラベルは、もはやこの独立に収集されたセットの最良の予測者ではなく、ビジョンモデルの評価における彼らの有用性が終わりに近づいていることを示している。
  論文  参考訳（メタデータ） (2020-06-12T13:17:25Z)
• From ImageNet to Image Classification: Contextualizing Progress on Benchmarks [99.19183528305598]
  ImageNet作成プロセスにおける特定の設計選択が、結果のデータセットの忠実性に与える影響について検討する。 私たちの分析では、ノイズの多いデータ収集パイプラインが、結果のベンチマークと、それがプロキシとして機能する実世界のタスクとの間に、体系的なミスアライメントをもたらす可能性があることを指摘しています。
  論文  参考訳（メタデータ） (2020-05-22T17:39:16Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。