論文の概要: Diverse, Difficult, and Odd Instances (D2O): A New Test Set for Object Classification

• arxiv url: http://arxiv.org/abs/2301.12527v1
• Date: Sun, 29 Jan 2023 19:58:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 16:41:09.101878
• Title: Diverse, Difficult, and Odd Instances (D2O): A New Test Set for Object Classification
• Title（参考訳）: Diverse, Difficult, and Odd Instances (D2O): オブジェクト分類のための新しいテストセット
• Authors: Ali Borji
• Abstract要約: 既存のテストセットと十分に異なるD2Oと呼ばれる新しいテストセットを導入します。 私たちのデータセットには、36のカテゴリにまたがる8,060のイメージが含まれており、そのうち29がImageNetに表示されています。 私たちのデータセットで最高のTop-1精度は約60%で、ImageNetで91%のTop-1精度よりもはるかに低いです。
• 参考スコア（独自算出の注目度）: 47.64219291655723
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test sets are an integral part of evaluating models and gauging progress in object recognition, and more broadly in computer vision and AI. Existing test sets for object recognition, however, suffer from shortcomings such as bias towards the ImageNet characteristics and idiosyncrasies (e.g., ImageNet-V2), being limited to certain types of stimuli (e.g., indoor scenes in ObjectNet), and underestimating the model performance (e.g., ImageNet-A). To mitigate these problems, we introduce a new test set, called D2O, which is sufficiently different from existing test sets. Images are a mix of generated images as well as images crawled from the web. They are diverse, unmodified, and representative of real-world scenarios and cause state-of-the-art models to misclassify them with high confidence. To emphasize generalization, our dataset by design does not come paired with a training set. It contains 8,060 images spread across 36 categories, out of which 29 appear in ImageNet. The best Top-1 accuracy on our dataset is around 60% which is much lower than 91% best Top-1 accuracy on ImageNet. We find that popular vision APIs perform very poorly in detecting objects over D2O categories such as ``faces'', ``cars'', and ``cats''. Our dataset also comes with a ``miscellaneous'' category, over which we test the image tagging models. Overall, our investigations demonstrate that the D2O test set contain a mix of images with varied levels of difficulty and is predictive of the average-case performance of models. It can challenge object recognition models for years to come and can spur more research in this fundamental area.
• Abstract（参考訳）: テストセットは、モデルの評価とオブジェクト認識の進歩、さらにコンピュータビジョンとAIにおいて、不可欠な部分である。 しかし、既存のオブジェクト認識のためのテストセットは、イメージネットの特徴や慣用性に対するバイアス(例:imagenet-v2)、特定のタイプの刺激(例:objectnetの屋内シーン)、モデルパフォーマンスの過小評価(例:imagenet-a)といった欠点に苦しめられている。 これらの問題を緩和するために、既存のテストセットと十分に異なるD2Oと呼ばれる新しいテストセットを導入する。 画像は生成された画像とwebからクロールされた画像の混合である。 それらは多様で、変更されず、現実世界のシナリオを代表し、最先端のモデルに自信を持ってそれらを誤分類させる。 一般化を強調するために、設計によるデータセットはトレーニングセットと組み合わせられません。 36のカテゴリにまたがる8,060のイメージが含まれており、そのうち29はImageNetに掲載されている。 私たちのデータセットで最高のTop-1精度は約60%で、ImageNetで91%のTop-1精度よりもはるかに低いです。 一般的なビジョンAPIは ``faces'' や ``cars'' や ``cats'' といった D2O カテゴリ上のオブジェクトを検出できない。 データセットには ‘miscellaneous' カテゴリも付属しており、イメージタグ付けモデルをテストする。 以上の結果から,D2Oテストセットには様々な難易度を持つ画像が混在しており,モデルの平均ケース性能が予測可能であることが示された。 今後何年もオブジェクト認識モデルに挑戦し、この基本分野のさらなる研究を促す可能性がある。

関連論文リスト

• ImageNet-D: Benchmarking Neural Network Robustness on Diffusion Synthetic Object [78.58860252442045]
  我々は、深層モデルの堅牢性をベンチマークするハードイメージのためのデータソースとして、生成モデルを紹介した。 このベンチマークを ImageNet-D と呼ぶ以前の作業よりも、背景、テクスチャ、材料が多様化したイメージを生成することができます。 我々の研究は、拡散モデルが視覚モデルをテストするのに効果的な情報源となることを示唆している。
  論文  参考訳（メタデータ） (2024-03-27T17:23:39Z)
• ImageNet-E: Benchmarking Neural Network Robustness via Attribute Editing [45.14977000707886]
  ImageNetにおける高い精度は、通常、異なる汚職に対してより堅牢性をもたらす。 我々は、背景、大きさ、位置、方向の制御によるオブジェクト編集のためのツールキットを作成する。 我々は、畳み込みニューラルネットワークと視覚変換器の両方を含む現在のディープラーニングモデルの性能を評価する。
  論文  参考訳（メタデータ） (2023-03-30T02:02:32Z)
• ImageNet-X: Understanding Model Mistakes with Factor of Variation Annotations [36.348968311668564]
  我々は、ポーズ、背景、照明などの要素の16の人間のアノテーションセットであるImageNet-Xを紹介する。 本稿では,現在の認識モデル2200について検討し,モデルアーキテクチャの関数としての誤りの種類について検討する。 モデルにはImageNet-Xカテゴリ全体で一貫した障害モードがある。
  論文  参考訳（メタデータ） (2022-11-03T14:56:32Z)
• How good are deep models in understanding the generated images? [47.64219291655723]
  オブジェクト認識と視覚的質問応答タスクのために、生成画像の2つのセットを収集する。 オブジェクト認識では、10の最先端オブジェクト認識モデルのうち最高のモデルが、約60%と80%のトップ-1とトップ5の精度を達成する。 VQAでは、50の画像で241のバイナリ質問に回答すると77.3%のスコアが与えられる。
  論文  参考訳（メタデータ） (2022-08-23T06:44:43Z)
• Salient Objects in Clutter [130.63976772770368]
  本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。 この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。 我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
  論文  参考訳（メタデータ） (2021-05-07T03:49:26Z)
• Contemplating real-world object classification [53.10151901863263]
  Barbuらが最近提案したObjectNetデータセットを再分析した。 日常の状況に物を含むこと。 分離されたオブジェクトにディープモデルを適用すると、元の論文のようにシーン全体ではなく、約20～30%の性能改善が得られます。
  論文  参考訳（メタデータ） (2021-03-08T23:29:59Z)
• Rethinking Natural Adversarial Examples for Classification Models [43.87819913022369]
  ImageNet-Aは、自然対比例の有名なデータセットです。 オブジェクト検出技術を用いたImageNet-A例の背景影響を低減して仮説を検証した。 実験により,様々な分類モデルを用いた物体検出モデルは,その分類モデルよりも精度が高かった。
  論文  参考訳（メタデータ） (2021-02-23T14:46:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。