論文の概要: Trivial or impossible -- dichotomous data difficulty masks model differences (on ImageNet and beyond)

• arxiv url: http://arxiv.org/abs/2110.05922v1
• Date: Tue, 12 Oct 2021 12:09:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-13 12:15:29.393638
• Title: Trivial or impossible -- dichotomous data difficulty masks model differences (on ImageNet and beyond)
• Title（参考訳）: 自明か不可能か -- dichotomous data difficulty masks model differences (imagenet と beyond)
• Authors: Kristof Meding, Luca M. Schulze Buschoff, Robert Geirhos, Felix A. Wichmann
• Abstract要約: 私たちは、モデルがどのように決定するかを決定する様々な側面を切り離そうとしています。 ネットワークアーキテクチャや目的に関係なく、すべてのモデルが同様の決定境界に達することに気付きます。 人間はどの画像がCNNにとって「簡単」で「不可能」であるかを予測するのに非常に正確である。
• 参考スコア（独自算出の注目度）: 10.945724828039229
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: "The power of a generalization system follows directly from its biases" (Mitchell 1980). Today, CNNs are incredibly powerful generalisation systems -- but to what degree have we understood how their inductive bias influences model decisions? We here attempt to disentangle the various aspects that determine how a model decides. In particular, we ask: what makes one model decide differently from another? In a meticulously controlled setting, we find that (1.) irrespective of the network architecture or objective (e.g. self-supervised, semi-supervised, vision transformers, recurrent models) all models end up with a similar decision boundary. (2.) To understand these findings, we analysed model decisions on the ImageNet validation set from epoch to epoch and image by image. We find that the ImageNet validation set, among others, suffers from dichotomous data difficulty (DDD): For the range of investigated models and their accuracies, it is dominated by 46.0% "trivial" and 11.5% "impossible" images (beyond label errors). Only 42.5% of the images could possibly be responsible for the differences between two models' decision boundaries. (3.) Only removing the "impossible" and "trivial" images allows us to see pronounced differences between models. (4.) Humans are highly accurate at predicting which images are "trivial" and "impossible" for CNNs (81.4%). This implies that in future comparisons of brains, machines and behaviour, much may be gained from investigating the decisive role of images and the distribution of their difficulties.
• Abstract（参考訳）: 「一般化システムの力はそのバイアスから直接従う」(Mitchell 1980)。 しかし、その帰納的バイアスがモデル決定にどのように影響するかは、どの程度理解されていますか? ここでは、モデルがどのように決定するかを決定する様々な側面を切り離そうとします。 特に、あるモデルが他のモデルと異なる決定をする理由を尋ねます。 厳密に制御された設定では、(1.)ネットワークアーキテクチャや目的(例えば、自己監督型、半教師型、ビジョントランスフォーマー、反復型モデル)に関係なく、全てのモデルが同様の決定境界に達する。 (2.) これらの知見を理解するために,imagenetバリデーションセットのモデル決定をエポックからエポック,イメージごとに分析した。 ImageNetバリデーションセットは、特に2コマトクスデータ困難(DDD)に悩まされている。 調査対象のモデルの範囲とその精度については、46.0%の「自明」イメージと11.5%の「不可能」イメージ(ラベルエラーに加えて)で支配されている。 画像の42.5%だけが2つのモデルの決定境界の違いの原因となる可能性がある。 (3.) 不可能な"イメージと"自明な"イメージを削除するだけで、モデルの明確な違いが分かるのです。 (4.) 人間はCNN(81.4%)のどの画像が「自明」で「不可能」かを正確に予測できる。 これは、将来の脳、機械、行動の比較において、画像の決定的な役割とそれらの困難の分布についての調査から多くを得る可能性があることを意味する。

関連論文リスト

• Changen2: Multi-Temporal Remote Sensing Generative Change Foundation Model [62.337749660637755]
  安価で自動的な生成モデルに基づく変更データ生成器を提案する。 Changen2は、自己監督を通じて大規模にトレーニング可能な、生成的な変更基盤モデルである。 得られたモデルには、固有のゼロショット変化検出機能と優れた転送性がある。
  論文  参考訳（メタデータ） (2024-06-26T01:03:39Z)
• Evaluating Vision-Language Models on Bistable Images [34.492117496933915]
  本研究は,バイスタブル画像を用いた視覚言語モデルについて,これまでで最も広範に検討したものである。 私たちは手動で29枚のバイスタブル画像と関連するラベルを集め、明るさ、色調、回転で116種類の操作を行ないました。 以上の結果から,Idefics ファミリーと LLaVA1.5-13b のモデルを除いて,別の解釈が優先されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-29T18:04:59Z)
• Uncertainty in AI: Evaluating Deep Neural Networks on Out-of-Distribution Images [0.0]
  本稿では、摂動データを扱う際に、ResNet-50、VGG16、DenseNet121、AlexNet、GoogleNetなど様々なディープニューラルネットワークの不確実性について検討する。 ResNet-50はOODイメージの最も正確なシングルモデルであったが、アンサンブルはより良く、すべてのイメージを正しく分類した。
  論文  参考訳（メタデータ） (2023-09-04T22:46:59Z)
• The Change You Want to See (Now in 3D) [65.61789642291636]
  本稿の目的は、同じ3Dシーンの2つの「野生」画像の間で何が変わったかを検出することである。 我々は,全合成データに基づいて学習し,クラスに依存しない変化検出モデルに貢献する。 我々は,人間に注釈を付けた実世界のイメージペアによる評価データセットを新たにリリースした。
  論文  参考訳（メタデータ） (2023-08-21T01:59:45Z)
• Diverse, Difficult, and Odd Instances (D2O): A New Test Set for Object Classification [47.64219291655723]
  既存のテストセットと十分に異なるD2Oと呼ばれる新しいテストセットを導入します。 私たちのデータセットには、36のカテゴリにまたがる8,060のイメージが含まれており、そのうち29がImageNetに表示されています。 私たちのデータセットで最高のTop-1精度は約60%で、ImageNetで91%のTop-1精度よりもはるかに低いです。
  論文  参考訳（メタデータ） (2023-01-29T19:58:32Z)
• Spuriosity Rankings: Sorting Data to Measure and Mitigate Biases [62.54519787811138]
  本稿では,突発的手がかりに依存したモデルバイアスを簡易かつ効果的に測定・緩和する手法を提案する。 我々は,解釈可能なネットワークの深部神経的特徴をベースとして,それらのクラス内の画像のランク付けを行う。 以上の結果から,素早い特徴依存によるモデルバイアスは,モデルがどのようにトレーニングされたかよりも,モデルがトレーニングされていることの影響がはるかに大きいことが示唆された。
  論文  参考訳（メタデータ） (2022-12-05T23:15:43Z)
• ImageNet-X: Understanding Model Mistakes with Factor of Variation Annotations [36.348968311668564]
  我々は、ポーズ、背景、照明などの要素の16の人間のアノテーションセットであるImageNet-Xを紹介する。 本稿では,現在の認識モデル2200について検討し,モデルアーキテクチャの関数としての誤りの種類について検討する。 モデルにはImageNet-Xカテゴリ全体で一貫した障害モードがある。
  論文  参考訳（メタデータ） (2022-11-03T14:56:32Z)
• How good are deep models in understanding the generated images? [47.64219291655723]
  オブジェクト認識と視覚的質問応答タスクのために、生成画像の2つのセットを収集する。 オブジェクト認識では、10の最先端オブジェクト認識モデルのうち最高のモデルが、約60%と80%のトップ-1とトップ5の精度を達成する。 VQAでは、50の画像で241のバイナリ質問に回答すると77.3%のスコアが与えられる。
  論文  参考訳（メタデータ） (2022-08-23T06:44:43Z)
• Contemplating real-world object classification [53.10151901863263]
  Barbuらが最近提案したObjectNetデータセットを再分析した。 日常の状況に物を含むこと。 分離されたオブジェクトにディープモデルを適用すると、元の論文のようにシーン全体ではなく、約20～30%の性能改善が得られます。
  論文  参考訳（メタデータ） (2021-03-08T23:29:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。