論文の概要: Doomed to Re-Annotate, Forever: The ImageNet Story

• arxiv url: http://arxiv.org/abs/2608.13783v1
• Date: Thu, 13 Aug 2026 21:24:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.213526
• Title: Doomed to Re-Annotate, Forever: The ImageNet Story
• Title（参考訳）: ImageNetで再注釈する準備が整った
• Abstract要約: 我々は,正確な画像Net-1k検証セットアノテーションを得るための包括的な取り組みを示す。 この注釈は、元のImageNet-1kラベルの約12%が誤りであることを示している。 新しいラベルでは、教師付きモデルではトップ1の精度が1.2%、MLLMでは5-6%向上した。
• 参考スコア（独自算出の注目度）: 13.070438047246094
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Top-1 accuracy on ImageNet-1k remains the most commonly reported metric in visual recognition. Quality issues with the dataset have been repeatedly reported, yet the original 2012 noisy labels are still predominantly used. The paper presents a comprehensive effort, which goes well beyond prior correction attempts, towards obtaining accurate and complete ImageNet-1k validation set annotations. The result, ReImageNet, includes multilabel correction, object localization, revised class definitions, and semantic attributes (text-recognition, rendition, reflection, crowd, dominant). The reannotation reveals that approximately 12% of the original ImageNet-1k labels are incorrect, 33.3% of images are multilabel and 3.8% contain no object from an ImageNet-1k class. With the new labels, top-1 accuracy increases by up to 1.2% for supervised models and by 5-6% for MLLMs. We argue that annotation at ImageNet scale cannot realistically be completed in one pass, as errors and definitional issues are discovered only through annotating, and we build our pipeline around repeated refinement and error checking. We observed that human and LLM collaboration with appropriate tooling represents the current quality ceiling for annotation at this scale. ImageNet-1k issues propagate into its derivative test sets, indicating that the problem is structural rather than specific to any single benchmark. All annotations, class definitions, guidelines, and analysis code have been publicly released. Project page: https://vrg.fel.cvut.cz/reimagenet Annotations: https://huggingface.co/datasets/vrg-prague/ReImageNet Code: https://github.com/klarajanouskova/ImageNet
• Abstract（参考訳）: ImageNet-1kのTop-1精度は、視覚認識において最も一般的に報告されている指標である。 データセットの品質問題は繰り返し報告されているが、オリジナルの2012年のノイズラベルは依然として主に使用されている。 本稿では,ImageNet-1kバリデーションセットアノテーションの正確かつ完全な取得に向けて,事前の修正の試みをはるかに越えた包括的な取り組みを示す。 結果は、マルチラベルの修正、オブジェクトのローカライゼーション、クラス定義の改訂、セマンティック属性(テキスト認識、再認識、リフレクション、群衆、支配的)を含む。 元のImageNet-1kのラベルの約12%が間違っており、33.3%のイメージはマルチラベルであり、3.8%はImageNet-1kクラスのオブジェクトを含んでいない。 新しいラベルでは、教師付きモデルではトップ1の精度が1.2%、MLLMでは5-6%向上した。 ImageNetスケールでのアノテーションは、アノテートによってのみエラーや定義上の問題が発見されるため、現実的には1パスで完成できない、と我々は主張する。 適切なツールによる人間とLLMのコラボレーションは、この規模のアノテーションの現在の品質の天井となることを観察した。 ImageNet-1k問題はその派生テストセットに伝播し、問題は単一のベンチマークに固有のものではなく構造的なものであることを示している。 アノテーション、クラス定義、ガイドライン、分析コードはすべて公開されています。 プロジェクトページ: https://vrg.fel.cvut.cz/reimagenetアノテーション: https://huggingface.co/datasets/vrg-prague/ReImageNetコード: https://github.com/klarajanouskova/ImageNet

関連論文リスト

• Unlocking ImageNet's Multi-Object Nature: Automated Large-Scale Multilabel Annotation [22.555839995810988]
  人間のアノテーションを使わずに、ImageNetトレーニングセットをマルチラベルデータセットに変換する自動パイプラインを提案する。 我々のラベルは質的評価において人間の判断と強く一致している。 従来のシングルラベル方式と比較して、マルチラベル監視で訓練されたモデルは、ドメイン内精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2026-03-05T22:36:48Z)
• The Impact of the Single-Label Assumption in Image Recognition Benchmarking [1.4828022319975973]
  ディープニューラルネットワーク(DNN)は通常、各画像が単一の正しいラベルを持つという仮定の下で評価される。 ImageNetのようなベンチマークの多くの画像には、複数の有効なラベルが含まれており、評価プロトコルと実際の視覚データの複雑さのミスマッチを生成する。 報告された精度ギャップに対するマルチラベル特性の影響を厳格に評価する。
  論文  参考訳（メタデータ） (2024-12-24T12:55:31Z)
• Spurious Features Everywhere -- Large-Scale Detection of Harmful Spurious Features in ImageNet [36.48282338829549]
  本稿では,ImageNetのような大規模データセットにおいて,突発的特徴を体系的に識別するフレームワークを開発する。 我々は,クラス単独で有害な刺激的特徴の存在が,そのクラスの予測を誘発するのに十分であることを示すことによって,その結果を検証する。 我々はSpuFixを単純な緩和法として導入し、これまで同定された有害なスプリアス機能に対するImageNet分類器の依存を減らす。
  論文  参考訳（メタデータ） (2022-12-09T14:23:25Z)
• Improving Zero-shot Generalization and Robustness of Multi-modal Models [70.14692320804178]
  CLIPやLiTのようなマルチモーダルな画像テキストモデルは、画像分類ベンチマークで顕著な性能を示している。 本研究は,この性能差の原因を考察し,テキストプロンプトの曖昧さによる障害事例の多くが原因であることを示す。 本稿では,WordNet階層を用いて,不確実な画像の精度を向上させるための簡易かつ効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-04T07:26:24Z)
• Bugs in the Data: How ImageNet Misrepresents Biodiversity [98.98950914663813]
  ImageNet-1k検証セットで野生動物を表す269のクラスから13450の画像を解析した。 多くのクラスが未定義あるいは重複しており、画像の12%が誤ってラベル付けされていることがわかった。 また,ImageNet-1kに含まれる野生生物関連ラベルと画像の両方が,地理的,文化的に有意な偏見を呈していることがわかった。
  論文  参考訳（メタデータ） (2022-08-24T17:55:48Z)
• Core Risk Minimization using Salient ImageNet [53.616101711801484]
  私たちは、1000のImagenetクラスのコアとスプリアス機能をローカライズする100万人以上のソフトマスクを備えたSalient Imagenetデータセットを紹介します。 このデータセットを用いて、まず、いくつかのImagenet事前訓練されたモデル(総計42件)の素早い特徴に対する依存度を評価する。 次に、コアリスク最小化(CoRM)と呼ばれる新しい学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2022-03-28T01:53:34Z)
• Re-labeling ImageNet: from Single to Multi-Labels, from Global to Localized Labels [34.13899937264952]
  ImageNetは間違いなく最も人気のある画像分類ベンチマークですが、ラベルノイズのかなりのレベルを持つものでもあります。 近年の研究では、シングルラベルベンチマークと仮定されているにもかかわらず、多くのサンプルが複数のクラスを含んでいることが示されている。 私たちは、単一ラベルアノテーションと効果的に複数のラベル画像の間のミスマッチは、ランダムな作物が適用されるトレーニングセットアップにおいて同様に問題であると主張しています。
  論文  参考訳（メタデータ） (2021-01-13T11:55:58Z)
• Are we done with ImageNet? [86.01120671361844]
  我々は、ImageNetバリデーションセットの人間のアノテーションを収集するための、より堅牢な手順を開発する。 我々は最近提案されたImageNet分類器の精度を再評価し、その精度は元のラベルで報告されたものよりもかなり小さいことがわかった。 オリジナルのImageNetラベルは、もはやこの独立に収集されたセットの最良の予測者ではなく、ビジョンモデルの評価における彼らの有用性が終わりに近づいていることを示している。
  論文  参考訳（メタデータ） (2020-06-12T13:17:25Z)
• SCAN: Learning to Classify Images without Labels [73.69513783788622]
  機能学習とクラスタリングを分離する2段階のアプローチを提唱する。 表現学習からの自己教師型タスクを用いて意味論的意味のある特徴を得る。 我々は、ImageNet上で有望な結果を得、低データ体制下では、いくつかの半教師付き学習方法より優れています。
  論文  参考訳（メタデータ） (2020-05-25T18:12:33Z)
• Fixing the train-test resolution discrepancy: FixEfficientNet [98.64315617109344]
  本稿では,複数のトレーニング手順を用いて,効率的なNet画像分類器の性能解析を行う。 FixEfficientNetと呼ばれる結果のネットワークは、同じ数のパラメータで初期アーキテクチャを著しく上回る。
  論文  参考訳（メタデータ） (2020-03-18T14:22:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。