Fugu-MT 論文翻訳(概要): Flaws of ImageNet, Computer Vision's Favourite Dataset

論文の概要: Flaws of ImageNet, Computer Vision's Favourite Dataset

arxiv url: http://arxiv.org/abs/2412.00076v1
Date: Tue, 26 Nov 2024 16:47:59 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-08 08:17:55.459702
Title: Flaws of ImageNet, Computer Vision's Favourite Dataset
Title（参考訳）: ImageNetの欠陥とコンピュータビジョンのファブライトデータセット
Authors: Nikita Kisel, Illia Volkov, Katerina Hanzelkova, Klara Janouskova, Jiri Matas,
Abstract要約: ImageNet-1kデータセットは、モデルパフォーマンスを評価するためのゴールドスタンダードになっている。この記事では、ImageNet-1kデータセットの問題点を分析します。
参考スコア（独自算出の注目度）: 18.700895407332787
License:
Abstract: Since its release, ImageNet-1k dataset has become a gold standard for evaluating model performance. It has served as the foundation for numerous other datasets and training tasks in computer vision. As models have improved in accuracy, issues related to label correctness have become increasingly apparent. In this blog post, we analyze the issues in the ImageNet-1k dataset, including incorrect labels, overlapping or ambiguous class definitions, training-evaluation domain shifts, and image duplicates. The solutions for some problems are straightforward. For others, we hope to start a broader conversation about refining this influential dataset to better serve future research.
Abstract（参考訳）: リリース以来、ImageNet-1kデータセットはモデルパフォーマンスを評価するためのゴールドスタンダードになっている。コンピュータビジョンにおける他の多くのデータセットやトレーニングタスクの基礎として機能している。モデルの精度が向上するにつれて、ラベルの正確性に関する問題がますます顕在化している。この記事では、間違ったラベル、重複または曖昧なクラス定義、トレーニング評価ドメインシフト、イメージ重複など、ImageNet-1kデータセットの問題点を分析します。いくつかの問題の解決策は単純です。他の人にとっては、この影響力のあるデータセットを改良して将来の研究に役立てることについて、より広範な議論を始めたいと思っています。

関連論文リスト

Toffee: Efficient Million-Scale Dataset Construction for Subject-Driven Text-to-Image Generation [58.09421301921607]
我々は、主観的画像編集と生成のための最初の大規模データセットを構築した。データセットは、以前の最大のデータセットの5倍のサイズですが、コストは、何万時間も低いです。
論文参考訳（メタデータ） (2024-06-13T16:40:39Z)
ImageNot: A contrast with ImageNet preserves model rankings [16.169858780154893]
私たちは、ImageNetのスケールに合わせて設計されたデータセットであるImageNotを紹介します。長年にわたってImageNetのために開発された主要なモデルアーキテクチャは、ImageNotでトレーニングされ評価された時に同じランクにランク付けされた。
論文参考訳（メタデータ） (2024-04-02T17:13:04Z)
Evaluating Data Attribution for Text-to-Image Models [62.844382063780365]
我々は,既存の大規模モデルを与えられた模範オブジェクトやスタイルにチューニングする「カストミゼーション」手法による属性評価を行う。私たちのキーとなる洞察は、これによって、構築によって模範にコンピュータ的に影響される合成画像を効率的に作成できるということです。問題の本質的な不確実性を考慮することで、一連のトレーニング画像に対してソフトな属性スコアを割り当てることができる。
論文参考訳（メタデータ） (2023-06-15T17:59:51Z)
Diverse, Difficult, and Odd Instances (D2O): A New Test Set for Object Classification [47.64219291655723]
既存のテストセットと十分に異なるD2Oと呼ばれる新しいテストセットを導入します。私たちのデータセットには、36のカテゴリにまたがる8,060のイメージが含まれており、そのうち29がImageNetに表示されています。私たちのデータセットで最高のTop-1精度は約60%で、ImageNetで91%のTop-1精度よりもはるかに低いです。
論文参考訳（メタデータ） (2023-01-29T19:58:32Z)
Does progress on ImageNet transfer to real-world datasets? [28.918770106968843]
6つの実用的な画像分類データセットに対して,画像ネット事前学習モデルの評価を行った。複数のデータセットでは、ImageNetの精度が高いモデルでは、継続的にパフォーマンスが向上するわけではない。将来のベンチマークには、より多様なデータセットが含まれて、学習アルゴリズムを改善するためのより包括的なアプローチが奨励されることを期待しています。
論文参考訳（メタデータ） (2023-01-11T18:55:53Z)
ImageNet-X: Understanding Model Mistakes with Factor of Variation Annotations [36.348968311668564]
我々は、ポーズ、背景、照明などの要素の16の人間のアノテーションセットであるImageNet-Xを紹介する。本稿では,現在の認識モデル2200について検討し,モデルアーキテクチャの関数としての誤りの種類について検討する。モデルにはImageNet-Xカテゴリ全体で一貫した障害モードがある。
論文参考訳（メタデータ） (2022-11-03T14:56:32Z)
BigDatasetGAN: Synthesizing ImageNet with Pixel-wise Annotations [89.42397034542189]
我々は,GAN(Generative Adversarial Network)を介して,大規模ラベル付きデータセットを合成する。我々は、ImageNetで訓練されたクラス条件生成モデルBigGANの画像サンプルを、すべての1kクラスに対して、クラス毎の5つのイメージを手動でアノテートする。我々は、追加の8k実画像のセットをラベル付けして、新しいImageNetベンチマークを作成し、様々な設定でセグメンテーション性能を評価する。
論文参考訳（メタデータ） (2022-01-12T20:28:34Z)
Automated Cleanup of the ImageNet Dataset by Model Consensus, Explainability and Confident Learning [0.0]
ImageNetは、ILSVRC12Netでトレーニングされた様々な畳み込みニューラルネットワーク(CNN)のバックボーンである。本稿では,モデルのコンセンサス,説明可能性,自信のある学習に基づく自動アプリケーションについて述べる。 ImageNet-CleanはSqueezeNetおよびEfficientNet-B0モデルのモデルパフォーマンスを2-2.4%向上させる。
論文参考訳（メタデータ） (2021-03-30T13:16:35Z)
Contemplating real-world object classification [53.10151901863263]
Barbuらが最近提案したObjectNetデータセットを再分析した。日常の状況に物を含むこと。分離されたオブジェクトにディープモデルを適用すると、元の論文のようにシーン全体ではなく、約20～30%の性能改善が得られます。
論文参考訳（メタデータ） (2021-03-08T23:29:59Z)
From ImageNet to Image Classification: Contextualizing Progress on Benchmarks [99.19183528305598]
ImageNet作成プロセスにおける特定の設計選択が、結果のデータセットの忠実性に与える影響について検討する。私たちの分析では、ノイズの多いデータ収集パイプラインが、結果のベンチマークと、それがプロキシとして機能する実世界のタスクとの間に、体系的なミスアライメントをもたらす可能性があることを指摘しています。
論文参考訳（メタデータ） (2020-05-22T17:39:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。