論文の概要: Re-assessing ImageNet: How aligned is its single-label assumption with its multi-label nature?

• arxiv url: http://arxiv.org/abs/2412.18409v1
• Date: Tue, 24 Dec 2024 12:55:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:54:55.211479
• Title: Re-assessing ImageNet: How aligned is its single-label assumption with its multi-label nature?
• Title（参考訳）: ImageNetの再評価: シングルラベルの仮定とマルチラベルの性質はどのように一致していますか?
• Authors: Esla Timothy Anzaku, Seyed Amir Mousavi, Arnout Van Messem, Wesley De Neve,
• Abstract要約: 我々は、ImageNetとその変種であるImageNetV2上で、事前訓練された最先端ディープニューラルネットワーク(DNN)モデルの有効性を分析する。 以上の結果から,これらの報告された減少は,十分な注意が払われていないデータセットの特徴に起因することが示唆された。 この結果は,ベンチマーク中のImageNetデータセットのマルチラベル性を考慮することの重要性を浮き彫りにした。
• 参考スコア（独自算出の注目度）: 1.4828022319975973
• License:
• Abstract: ImageNet, an influential dataset in computer vision, is traditionally evaluated using single-label classification, which assumes that an image can be adequately described by a single concept or label. However, this approach may not fully capture the complex semantics within the images available in ImageNet, potentially hindering the development of models that effectively learn these intricacies. This study critically examines the prevalent single-label benchmarking approach and advocates for a shift to multi-label benchmarking for ImageNet. This shift would enable a more comprehensive assessment of the capabilities of deep neural network (DNN) models. We analyze the effectiveness of pre-trained state-of-the-art DNNs on ImageNet and one of its variants, ImageNetV2. Studies in the literature have reported unexpected accuracy drops of 11% to 14% on ImageNetV2. Our findings show that these reported declines are largely attributable to a characteristic of the dataset that has not received sufficient attention -- the proportion of images with multiple labels. Taking this characteristic into account, the results of our experiments provide evidence that there is no substantial degradation in effectiveness on ImageNetV2. Furthermore, we acknowledge that ImageNet pre-trained models exhibit some capability at capturing the multi-label nature of the dataset even though they were trained under the single-label assumption. Consequently, we propose a new evaluation approach to augment existing approaches that assess this capability. Our findings highlight the importance of considering the multi-label nature of the ImageNet dataset during benchmarking. Failing to do so could lead to incorrect conclusions regarding the effectiveness of DNNs and divert research efforts from addressing other substantial challenges related to the reliability and robustness of these models.
• Abstract（参考訳）: コンピュータビジョンにおける影響力のあるデータセットであるImageNetは、伝統的に、イメージを単一の概念やラベルで適切に記述できると仮定するシングルラベル分類を用いて評価されている。 しかし、このアプローチはImageNetで利用可能なイメージ内の複雑なセマンティクスを完全にキャプチャするものではなく、これらの複雑さを効果的に学習するモデルの開発を妨げる可能性がある。 本研究は,イメージネットのマルチラベルベンチマークへのシフトを提唱する,一般的なシングルラベルベンチマーク手法を批判的に検討する。 このシフトにより、ディープニューラルネットワーク(DNN)モデルの能力をより包括的な評価が可能になる。 我々は、ImageNetとその変種であるImageNetV2上で、事前訓練された最先端DNNの有効性を分析する。 論文では、ImageNetV2で11%から14%の予想外の精度低下が報告されている。 以上の結果から、これらの報告された減少は、十分な注意が払われていないデータセットの特徴である、複数のラベルを持つ画像の割合に起因することが示唆された。 この特徴を考慮し,本実験の結果から,ImageNetV2の有効性が著しく低下していないことが示唆された。 さらに、ImageNet事前学習モデルでは、単一ラベルの仮定でトレーニングされた場合でも、データセットのマルチラベルの性質を捉える能力があることを認めた。 そこで本研究では,この能力を評価する既存手法を改良する新たな評価手法を提案する。 この結果は,ベンチマーク中のImageNetデータセットのマルチラベル性を考慮することの重要性を浮き彫りにした。 失敗すると、DNNの有効性に関する誤った結論が導き出され、これらのモデルの信頼性と堅牢性に関する他の重大な課題に対処する研究努力が分散する可能性がある。

関連論文リスト

• ImagiNet: A Multi-Content Benchmark for Synthetic Image Detection [0.0]
  私たちは、写真、絵画、顔、雑多な4つのカテゴリにまたがる200万のサンプルのデータセットであるImagiNetを紹介します。 ImagiNetの合成画像はオープンソースとプロプライエタリの両方のジェネレータで作成され、各コンテントタイプの実際の画像はパブリックデータセットから収集される。
  論文  参考訳（メタデータ） (2024-07-29T13:57:24Z)
• ImageNet-D: Benchmarking Neural Network Robustness on Diffusion Synthetic Object [78.58860252442045]
  我々は、深層モデルの堅牢性をベンチマークするハードイメージのためのデータソースとして、生成モデルを紹介した。 このベンチマークを ImageNet-D と呼ぶ以前の作業よりも、背景、テクスチャ、材料が多様化したイメージを生成することができます。 我々の研究は、拡散モデルが視覚モデルをテストするのに効果的な情報源となることを示唆している。
  論文  参考訳（メタデータ） (2024-03-27T17:23:39Z)
• Robustifying Deep Vision Models Through Shape Sensitization [19.118696557797957]
  そこで本研究では,ネットワークの全体像を学習するためのインセンティブを明示的に付与する,シンプルで軽量な対向拡張手法を提案する。 我々の拡張は、ランダムに決定された混合比を用いて、シャッフルパッチで、ある画像から別の画像へのエッジマップを重畳する。 この拡張により,データセットやニューラルアーキテクチャの分類精度とロバストネスが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-11-14T11:17:46Z)
• Image Quality Assessment using Contrastive Learning [50.265638572116984]
  我々は、補助的な問題を解決するために、対照的な対の目的を用いて深層畳み込みニューラルネットワーク(CNN)を訓練する。 本研究では,最新のNR画像品質モデルと比較して,ContriQUEが競争性能を向上することを示す。 以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
  論文  参考訳（メタデータ） (2021-10-25T21:01:00Z)
• Uncertainty-Aware Semi-Supervised Few Shot Segmentation [9.098329723771116]
  少ないショットセグメンテーション(FSS)は、いくつかのアノテーション付きサポートサンプルを使用して、クエリ画像中の対象オブジェクトのピクセルレベルの分類を学習することを目的としている。 これは、ターゲットオブジェクトの外観のバリエーションをモデル化し、クエリとサポートイメージの間の多様な視覚的手がかりを限られた情報で表現する必要があるため、難しい。 本研究では,不確実性のあるラベル付き画像から新たなプロトタイプを活用できる半教師付きFSS戦略を提案する。
  論文  参考訳（メタデータ） (2021-10-18T00:37:46Z)
• To be Critical: Self-Calibrated Weakly Supervised Learning for Salient Object Detection [95.21700830273221]
  弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。 擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。 十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2021-09-04T02:45:22Z)
• Automated Cleanup of the ImageNet Dataset by Model Consensus, Explainability and Confident Learning [0.0]
  ImageNetは、ILSVRC12Netでトレーニングされた様々な畳み込みニューラルネットワーク(CNN)のバックボーンである。 本稿では,モデルのコンセンサス,説明可能性,自信のある学習に基づく自動アプリケーションについて述べる。 ImageNet-CleanはSqueezeNetおよびEfficientNet-B0モデルのモデルパフォーマンスを2-2.4%向上させる。
  論文  参考訳（メタデータ） (2021-03-30T13:16:35Z)
• W2WNet: a two-module probabilistic Convolutional Neural Network with embedded data cleansing functionality [2.695466667982714]
  wise2wipednet (w2wnet) は新しい2モジュール畳み込みニューラルネットワークである。 Wiseモジュールはベイズ推定を利用してトレーニング中にスプリアス画像を特定し、破棄する。 消去されたモジュールは、推測時の予測信頼度に関する情報を放送しながら最終分類を処理する。
  論文  参考訳（メタデータ） (2021-03-24T11:28:59Z)
• Are we done with ImageNet? [86.01120671361844]
  我々は、ImageNetバリデーションセットの人間のアノテーションを収集するための、より堅牢な手順を開発する。 我々は最近提案されたImageNet分類器の精度を再評価し、その精度は元のラベルで報告されたものよりもかなり小さいことがわかった。 オリジナルのImageNetラベルは、もはやこの独立に収集されたセットの最良の予測者ではなく、ビジョンモデルの評価における彼らの有用性が終わりに近づいていることを示している。
  論文  参考訳（メタデータ） (2020-06-12T13:17:25Z)
• From ImageNet to Image Classification: Contextualizing Progress on Benchmarks [99.19183528305598]
  ImageNet作成プロセスにおける特定の設計選択が、結果のデータセットの忠実性に与える影響について検討する。 私たちの分析では、ノイズの多いデータ収集パイプラインが、結果のベンチマークと、それがプロキシとして機能する実世界のタスクとの間に、体系的なミスアライメントをもたらす可能性があることを指摘しています。
  論文  参考訳（メタデータ） (2020-05-22T17:39:16Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。