論文の概要: When VLMs Meet Image Classification: Test Sets Renovation via Missing Label Identification
- arxiv url: http://arxiv.org/abs/2505.16149v1
- Date: Thu, 22 May 2025 02:47:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-23 17:12:47.991508
- Title: When VLMs Meet Image Classification: Test Sets Renovation via Missing Label Identification
- Title（参考訳）: VLMがイメージ分類に出会ったとき: ラベル識別の欠如によるテストセットのリノベーション
- Authors: Zirui Pang, Haosheng Tan, Yuhan Pu, Zhijie Deng, Zhouan Shen, Keyu Hu, Jiaheng Wei,
- Abstract要約: 本稿では,画像分類テストセットにおけるノイズラベルと欠落ラベルの両方に対処するため,REVEALという包括的フレームワークを提案する。
REVEALは潜在的なノイズのあるラベルや欠落を検出し、様々な方法から予測を集約し、信頼性インフォームド予測とコンセンサスに基づくフィルタリングによってラベルの精度を向上する。
提案手法は,公開データセットから欠落したラベルを効果的に明らかにし,ソフトラベルによる結果に可能性が示唆された。
- 参考スコア（独自算出の注目度）: 11.49089004019603
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Image classification benchmark datasets such as CIFAR, MNIST, and ImageNet serve as critical tools for model evaluation. However, despite the cleaning efforts, these datasets still suffer from pervasive noisy labels and often contain missing labels due to the co-existing image pattern where multiple classes appear in an image sample. This results in misleading model comparisons and unfair evaluations. Existing label cleaning methods focus primarily on noisy labels, but the issue of missing labels remains largely overlooked. Motivated by these challenges, we present a comprehensive framework named REVEAL, integrating state-of-the-art pre-trained vision-language models (e.g., LLaVA, BLIP, Janus, Qwen) with advanced machine/human label curation methods (e.g., Docta, Cleanlab, MTurk), to systematically address both noisy labels and missing label detection in widely-used image classification test sets. REVEAL detects potential noisy labels and omissions, aggregates predictions from various methods, and refines label accuracy through confidence-informed predictions and consensus-based filtering. Additionally, we provide a thorough analysis of state-of-the-art vision-language models and pre-trained image classifiers, highlighting their strengths and limitations within the context of dataset renovation by revealing 10 observations. Our method effectively reveals missing labels from public datasets and provides soft-labeled results with likelihoods. Through human verifications, REVEAL significantly improves the quality of 6 benchmark test sets, highly aligning to human judgments and enabling more accurate and meaningful comparisons in image classification.
- Abstract（参考訳）: CIFAR、MNIST、ImageNetなどの画像分類ベンチマークデータセットは、モデル評価の重要なツールである。
しかしながら、これらのデータセットは、クリーニングの努力にもかかわらず、広範にノイズのあるラベルに悩まされており、画像サンプルに複数のクラスが現れる共存画像パターンのために、しばしば欠落したラベルを含んでいる。
この結果、誤解を招くモデルの比較と不公平な評価がもたらされる。
既存のラベルのクリーニング手法は主にノイズの多いラベルに焦点が当てられているが、ラベルの欠落の問題はほとんど見落とされたままである。
これらの課題に触発されて、我々はREVEALという、最先端の学習済みビジョン言語モデル(例えば、LLaVA、BLIP、Janus、Qwen)と高度なマシン/ヒューマンラベルのキュレーション手法(例えば、Docta、Cleanlab、MTurk)を統合し、ノイズの多いラベルと、広く使われている画像分類テストセットにおける欠落ラベルの検出の両方に体系的に対処する包括的フレームワークを提案する。
REVEALは潜在的なノイズのあるラベルや欠落を検出し、様々な方法から予測を集約し、信頼性インフォームド予測とコンセンサスに基づくフィルタリングによってラベルの精度を向上する。
さらに,最新のビジョン言語モデルと事前学習した画像分類器を網羅的に分析し,データセット更新のコンテキストにおけるその強みと限界を明らかにする。
提案手法は,公開データセットから欠落したラベルを効果的に明らかにし,ソフトラベルによる結果に可能性が示唆された。
人間の検証を通じて、REVEALは6つのベンチマークテストセットの品質を大幅に改善し、人間の判断に高度に適合し、画像分類においてより正確で有意義な比較を可能にする。
関連論文リスト
- Estimating label quality and errors in semantic segmentation data via
any model [19.84626033109009]
ラベル品質を評価する手法について検討し、最も低いスコアのイメージを正しくラベル付けする可能性が低いことを示す。
これにより、高品質なトレーニング/評価データセットを保証するために、レビューするデータを優先順位付けすることが可能になる。
論文 参考訳（メタデータ） (2023-07-11T07:29:09Z) - Category-Adaptive Label Discovery and Noise Rejection for Multi-label
Image Recognition with Partial Positive Labels [78.88007892742438]
部分正ラベル(MLR-PPL)を用いたマルチラベルモデルの訓練が注目されている。
これまでの研究では、未知のラベルを負とみなし、従来のMLRアルゴリズムを採用した。
我々は,MLR-PPLタスクを容易にするために,異なる画像間の意味的相関について検討する。
論文 参考訳（メタデータ） (2022-11-15T02:11:20Z) - Dual-Perspective Semantic-Aware Representation Blending for Multi-Label
Image Recognition with Partial Labels [70.36722026729859]
本稿では,多粒度カテゴリ固有の意味表現を異なる画像にブレンドした,二重パースペクティブな意味認識表現ブレンディング(DSRB)を提案する。
提案したDSは、すべての比率ラベル設定において、最先端のアルゴリズムを一貫して上回っている。
論文 参考訳（メタデータ） (2022-05-26T00:33:44Z) - BoMD: Bag of Multi-label Descriptors for Noisy Chest X-ray
Classification [25.76256302330625]
新しい医用画像分類問題は、放射線医学レポートから抽出された機械生成ノイズラベルに依存する必要があるかもしれない。
マルチクラス問題に対して設計された現在の雑音ラベル学習法は容易には適用できない。
本稿では,データセットからサンプルを検出し,スムーズに再ラベルする,ノイズの多い多ラベルCXR学習のための新しい手法を提案する。
論文 参考訳（メタデータ） (2022-03-03T08:04:59Z) - Learning to Aggregate and Refine Noisy Labels for Visual Sentiment
Analysis [69.48582264712854]
本研究では,頑健な視覚的感情分析を行うための頑健な学習手法を提案する。
本手法は,トレーニング中にノイズラベルを集約・フィルタリングするために外部メモリに依存している。
公開データセットを用いたラベルノイズを用いた視覚的感情分析のベンチマークを構築した。
論文 参考訳（メタデータ） (2021-09-15T18:18:28Z) - Active label cleaning: Improving dataset quality under resource
constraints [13.716577886649018]
ラベルノイズとして知られるデータアノテーションの欠陥は、機械学習モデルのトレーニングに有害である。
この研究は、再アノテーションのためのサンプルを優先順位付けするためのデータ駆動アプローチを提唱する。
評価されたラベルの正しさと各サンプルのラベル付け難易度に応じて格付けを行い,再現性を評価するためのシミュレーションフレームワークを導入する。
論文 参考訳（メタデータ） (2021-09-01T19:03:57Z) - Learning from Pixel-Level Label Noise: A New Perspective for
Semi-Supervised Semantic Segmentation [12.937770890847819]
ピクセルレベルのノイズラベルに対処するためのグラフベースのラベルノイズ検出および補正フレームワークを提案する。
特に,クラスアクティベーションマップ(cam)による弱い監督から生成した画素レベルのノイズラベルに対して,強い監督を施したクリーンセグメンテーションモデルを訓練する。
最後に,超画素ベースのグラフを用いて,画像中の画素間の空間的隣接性と意味的類似性の関係を表現する。
論文 参考訳（メタデータ） (2021-03-26T03:23:21Z) - Attention-Aware Noisy Label Learning for Image Classification [97.26664962498887]
大規模ラベル付きサンプルで学習した深層畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおいて顕著な進歩を遂げている。
大量のラベル付きビジュアルデータを取得する最も安価な方法は、Flickrのようなユーザーが提供するラベルでウェブサイトからクロールすることである。
本稿では,潜在的なラベルノイズのあるデータセットに基づいて学習したネットワークの識別能力を向上させるために,注目に敏感なラベル学習手法を提案する。
論文 参考訳（メタデータ） (2020-09-30T15:45:36Z) - Learning Image Labels On-the-fly for Training Robust Classification
Models [13.669654965671604]
ノイズの多いアノテーション(例えば、異なるアルゴリズムベースのラベル付け子から)を一緒に利用し、相互に分類タスクの学習に役立てることができるかを示す。
メタトレーニングベースのラベルサンプリングモジュールは、追加のバックプロパゲーションプロセスを通じてモデル学習の恩恵を受けるラベルに出席するように設計されている。
論文 参考訳（メタデータ） (2020-09-22T05:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。