論文の概要: ImageNot: A contrast with ImageNet preserves model rankings
- arxiv url: http://arxiv.org/abs/2404.02112v1
- Date: Tue, 2 Apr 2024 17:13:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 15:30:03.137573
- Title: ImageNot: A contrast with ImageNet preserves model rankings
- Title(参考訳): ImageNot:ImageNetとは対照的に、モデルランキングが保存される
- Authors: Olawale Salaudeen, Moritz Hardt,
- Abstract要約: 私たちは、ImageNetのスケールに合わせて設計されたデータセットであるImageNotを紹介します。
長年にわたってImageNetのために開発された主要なモデルアーキテクチャは、ImageNotでトレーニングされ評価された時に同じランクにランク付けされた。
- 参考スコア(独自算出の注目度): 16.169858780154893
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We introduce ImageNot, a dataset designed to match the scale of ImageNet while differing drastically in other aspects. We show that key model architectures developed for ImageNet over the years rank identically when trained and evaluated on ImageNot to how they rank on ImageNet. This is true when training models from scratch or fine-tuning them. Moreover, the relative improvements of each model over earlier models strongly correlate in both datasets. We further give evidence that ImageNot has a similar utility as ImageNet for transfer learning purposes. Our work demonstrates a surprising degree of external validity in the relative performance of image classification models. This stands in contrast with absolute accuracy numbers that typically drop sharply even under small changes to a dataset.
- Abstract(参考訳): 私たちは、ImageNetのスケールに合わせて設計されたデータセットであるImageNotを紹介します。
我々は、ImageNet で長年にわたって開発されてきたキーモデルアーキテクチャが、ImageNot でトレーニングされ評価されたときに、ImageNet 上でどのようにランク付けされているかを示す。
これは、モデルをスクラッチからトレーニングしたり、微調整する場合に当てはまる。
さらに、以前のモデルに対する各モデルの相対的な改善は、両方のデータセットに強く相関する。
さらに、ImageNotは、転写学習目的のImageNetと同様のユーティリティを持っていることを示す。
本研究は,画像分類モデルの相対的性能において,驚くほどの外部妥当性を示すものである。
これは、データセットの小さな変更の下でも、通常は急降下する絶対精度の数値とは対照的である。
関連論文リスト
- ImageNet-D: Benchmarking Neural Network Robustness on Diffusion Synthetic Object [78.58860252442045]
我々は、深層モデルの堅牢性をベンチマークするハードイメージのためのデータソースとして、生成モデルを紹介した。
このベンチマークを ImageNet-D と呼ぶ以前の作業よりも、背景、テクスチャ、材料が多様化したイメージを生成することができます。
我々の研究は、拡散モデルが視覚モデルをテストするのに効果的な情報源となることを示唆している。
論文 参考訳(メタデータ) (2024-03-27T17:23:39Z) - Evaluating Data Attribution for Text-to-Image Models [62.844382063780365]
我々は,既存の大規模モデルを与えられた模範オブジェクトやスタイルにチューニングする「カストミゼーション」手法による属性評価を行う。
私たちのキーとなる洞察は、これによって、構築によって模範にコンピュータ的に影響される合成画像を効率的に作成できるということです。
問題の本質的な不確実性を考慮することで、一連のトレーニング画像に対してソフトな属性スコアを割り当てることができる。
論文 参考訳(メタデータ) (2023-06-15T17:59:51Z) - ImageNet-E: Benchmarking Neural Network Robustness via Attribute Editing [45.14977000707886]
ImageNetにおける高い精度は、通常、異なる汚職に対してより堅牢性をもたらす。
我々は、背景、大きさ、位置、方向の制御によるオブジェクト編集のためのツールキットを作成する。
我々は、畳み込みニューラルネットワークと視覚変換器の両方を含む現在のディープラーニングモデルの性能を評価する。
論文 参考訳(メタデータ) (2023-03-30T02:02:32Z) - Diverse, Difficult, and Odd Instances (D2O): A New Test Set for Object
Classification [47.64219291655723]
既存のテストセットと十分に異なるD2Oと呼ばれる新しいテストセットを導入します。
私たちのデータセットには、36のカテゴリにまたがる8,060のイメージが含まれており、そのうち29がImageNetに表示されています。
私たちのデータセットで最高のTop-1精度は約60%で、ImageNetで91%のTop-1精度よりもはるかに低いです。
論文 参考訳(メタデータ) (2023-01-29T19:58:32Z) - Does progress on ImageNet transfer to real-world datasets? [28.918770106968843]
6つの実用的な画像分類データセットに対して,画像ネット事前学習モデルの評価を行った。
複数のデータセットでは、ImageNetの精度が高いモデルでは、継続的にパフォーマンスが向上するわけではない。
将来のベンチマークには、より多様なデータセットが含まれて、学習アルゴリズムを改善するためのより包括的なアプローチが奨励されることを期待しています。
論文 参考訳(メタデータ) (2023-01-11T18:55:53Z) - Identical Image Retrieval using Deep Learning [0.0]
私たちは最先端のモデルであるBigTransfer Modelを使用しています。
我々は、K-Nearest Neighborモデルで重要な特徴を抽出し、最も近い隣人を得るために訓練する。
本モデルの応用は,低推論時間でテキストクエリによって実現し難い,類似した画像を見つけることである。
論文 参考訳(メタデータ) (2022-05-10T13:34:41Z) - Is it Enough to Optimize CNN Architectures on ImageNet? [0.0]
我々は、ImageNetと他の8つの画像分類データセットで500のCNNアーキテクチャをトレーニングする。
アーキテクチャとパフォーマンスの関係はデータセットによって大きく異なる。
2つのデータセット固有のパフォーマンス指標を識別した:層間の累積幅とネットワーク全体の深さである。
論文 参考訳(メタデータ) (2021-03-16T14:42:01Z) - Contemplating real-world object classification [53.10151901863263]
Barbuらが最近提案したObjectNetデータセットを再分析した。
日常の状況に物を含むこと。
分離されたオブジェクトにディープモデルを適用すると、元の論文のようにシーン全体ではなく、約20~30%の性能改善が得られます。
論文 参考訳(メタデータ) (2021-03-08T23:29:59Z) - Rethinking Natural Adversarial Examples for Classification Models [43.87819913022369]
ImageNet-Aは、自然対比例の有名なデータセットです。
オブジェクト検出技術を用いたImageNet-A例の背景影響を低減して仮説を検証した。
実験により,様々な分類モデルを用いた物体検出モデルは,その分類モデルよりも精度が高かった。
論文 参考訳(メタデータ) (2021-02-23T14:46:48Z) - Shape-Texture Debiased Neural Network Training [50.6178024087048]
畳み込みニューラルネットワークは、トレーニングデータセットによって、テクスチャまたは形状にバイアスされることが多い。
形状・テクスチャ・デバイアスド学習のためのアルゴリズムを開発した。
実験により,本手法は複数の画像認識ベンチマークにおけるモデル性能の向上に成功していることが示された。
論文 参考訳(メタデータ) (2020-10-12T19:16:12Z) - From ImageNet to Image Classification: Contextualizing Progress on
Benchmarks [99.19183528305598]
ImageNet作成プロセスにおける特定の設計選択が、結果のデータセットの忠実性に与える影響について検討する。
私たちの分析では、ノイズの多いデータ収集パイプラインが、結果のベンチマークと、それがプロキシとして機能する実世界のタスクとの間に、体系的なミスアライメントをもたらす可能性があることを指摘しています。
論文 参考訳(メタデータ) (2020-05-22T17:39:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。