論文の概要: Beyond accuracy: quantifying trial-by-trial behaviour of CNNs and humans by measuring error consistency

• arxiv url: http://arxiv.org/abs/2006.16736v3
• Date: Fri, 18 Dec 2020 15:39:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 05:29:02.994500
• Title: Beyond accuracy: quantifying trial-by-trial behaviour of CNNs and humans by measuring error consistency
• Title（参考訳）: 正確性を超えた:CNNと人間の裁判による行動の定量化
• Authors: Robert Geirhos, Kristof Meding, Felix A. Wichmann
• Abstract要約: 認知科学と行動神経科学における中心的な問題は、2つ以上の意思決定者(脳かアルゴリズムか)が同じ戦略を使用するかどうかを確認することである。 2つの意思決定システムが同一入力に対してシステム的にエラーを発生させるかどうかを定量化するための定量的解析であるトライアル・バイ・トライアル・エラー整合性を導入する。
• 参考スコア（独自算出の注目度）: 10.028543085687803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A central problem in cognitive science and behavioural neuroscience as well as in machine learning and artificial intelligence research is to ascertain whether two or more decision makers (be they brains or algorithms) use the same strategy. Accuracy alone cannot distinguish between strategies: two systems may achieve similar accuracy with very different strategies. The need to differentiate beyond accuracy is particularly pressing if two systems are near ceiling performance, like Convolutional Neural Networks (CNNs) and humans on visual object recognition. Here we introduce trial-by-trial error consistency, a quantitative analysis for measuring whether two decision making systems systematically make errors on the same inputs. Making consistent errors on a trial-by-trial basis is a necessary condition for similar processing strategies between decision makers. Our analysis is applicable to compare algorithms with algorithms, humans with humans, and algorithms with humans. When applying error consistency to object recognition we obtain three main findings: (1.) Irrespective of architecture, CNNs are remarkably consistent with one another. (2.) The consistency between CNNs and human observers, however, is little above what can be expected by chance alone -- indicating that humans and CNNs are likely implementing very different strategies. (3.) CORnet-S, a recurrent model termed the "current best model of the primate ventral visual stream", fails to capture essential characteristics of human behavioural data and behaves essentially like a standard purely feedforward ResNet-50 in our analysis. Taken together, error consistency analysis suggests that the strategies used by human and machine vision are still very different -- but we envision our general-purpose error consistency analysis to serve as a fruitful tool for quantifying future progress.
• Abstract（参考訳）: 認知科学や行動神経科学、機械学習や人工知能の研究の中心的な問題は、2つ以上の意思決定者(脳やアルゴリズムなど)が同じ戦略を採用するかどうかを確かめることである。 2つのシステムは、非常に異なる戦略で同様の精度を達成することができる。 精度以上の差別化の必要性は、CNN(Convolutional Neural Networks)や人間の視覚的物体認識のような、2つのシステムが天井に近い性能である場合、特に顕著である。 本稿では、2つの意思決定システムが同一の入力に対してシステム的にエラーを発生させるかどうかを定量的に分析する。 裁判ごとに一貫した誤りを犯すことは、意思決定者間の同様の処理戦略に必要な条件である。 本分析は,アルゴリズムと人間,アルゴリズムを人間と比較することに適用できる。 オブジェクト認識にエラー整合性を適用すると、3つの主な発見が得られる: (1.) アーキテクチャに反し、CNNは互いに著しく整合している。 (2.) しかし、CNNと人間のオブザーバーの一貫性は、偶然にも期待できる以上のものではない。 (3.) cornet-sは「霊長類の腹側視覚の流れの現在の最良のモデル」と呼ばれ、人間の行動データの本質的な特徴を捉えられず、基本的には標準のfeedforward resnet-50のように振る舞う。 総合すると、エラー一貫性分析は、人間とマシンビジョンが使用する戦略が依然として大きく異なっていることを示唆します。

関連論文リスト

• Cognitive Networks and Performance Drive fMRI-Based State Classification Using DNN Models [0.0]
  我々は、個々の認知状態を分類するために、構造的に異なる2つのDNNモデルと相補的なDNNモデルを用いる。 アーキテクチャ上の違いにもかかわらず、両者のモデルが常に予測精度と個人の認知性能との間に堅牢な関係を生んでいることを示す。
  論文  参考訳（メタデータ） (2024-08-14T15:25:51Z)
• Towards Neural Network based Cognitive Models of Dynamic Decision-Making by Humans [16.72938921687168]
  私たちはインスタンスベースの学習(IBL)に基づいて、人間の決定は過去に遭遇した同様の状況に基づいていると仮定します。 本研究では,2つの新しい注意型ニューラルネットワークモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-24T20:28:03Z)
• Ecosystem-level Analysis of Deployed Machine Learning Reveals Homogeneous Outcomes [72.13373216644021]
  本研究では,機械学習の社会的影響を,特定の文脈に展開されるモデルの集合を考慮し検討する。 デプロイされた機械学習はシステム障害を起こしやすいため、利用可能なすべてのモデルに排他的に誤分類されているユーザもいます。 これらの例は、エコシステムレベルの分析が、機械学習の社会的影響を特徴づける独自の強みを持っていることを示している。
  論文  参考訳（メタデータ） (2023-07-12T01:11:52Z)
• Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
  本稿では,ニューラルモデルによる反事実文の評価について検討する。 まず、神経因果モデル(NCM)が十分に表現可能であることを示す。 第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-09-30T18:29:09Z)
• Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
  畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。 本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。 最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
  論文  参考訳（メタデータ） (2021-08-16T03:58:00Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• Are Convolutional Neural Networks or Transformers more like human vision? [9.83454308668432]
  視覚タスクにおけるCNNよりも注意に基づくネットワークの方が精度が高いことを示す。 これらの結果は、人間の視覚モデルの構築だけでなく、人間の視覚的物体認識の理解にも影響を及ぼす。
  論文  参考訳（メタデータ） (2021-05-15T10:33:35Z)
• Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
  本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。 我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。 本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-01T00:58:54Z)
• An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear Analysis [68.8204255655161]
  人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。 シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
  論文  参考訳（メタデータ） (2020-07-14T15:47:37Z)
• VINNAS: Variational Inference-based Neural Network Architecture Search [2.685668802278155]
  スパース畳み込みニューラルネットワークを探索するための可変変分推論に基づくNAS法を提案する。 提案手法は,非ゼロパラメータの約2倍の精度で最先端の精度を示しながら,多様なネットワークセルを探索する。
  論文  参考訳（メタデータ） (2020-07-12T21:47:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。