論文の概要: Divergences in Color Perception between Deep Neural Networks and Humans
- arxiv url: http://arxiv.org/abs/2309.05809v1
- Date: Mon, 11 Sep 2023 20:26:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 15:22:07.716083
- Title: Divergences in Color Perception between Deep Neural Networks and Humans
- Title（参考訳）: 深部ニューラルネットワークと人間の色知覚の多様性
- Authors: Ethan O. Nadler, Elise Darragh-Ford, Bhargav Srinivasa Desikan,
Christian Conaway, Mark Chu, Tasker Hull, Douglas Guilbeault
- Abstract要約: 我々はディープニューラルネットワーク(DNN)におけるカラー埋め込みの知覚的コヒーレンスを評価する実験を開発した。
これらのアルゴリズムがオンライン調査によって収集された人間の色類似性判定の精度を評価する。
本研究では,ウェーブレット分解に基づく色知覚モデルとDNN性能を比較した。
- 参考スコア（独自算出の注目度）: 3.0315685825606633
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) are increasingly proposed as models of human
vision, bolstered by their impressive performance on image classification and
object recognition tasks. Yet, the extent to which DNNs capture fundamental
aspects of human vision such as color perception remains unclear. Here, we
develop novel experiments for evaluating the perceptual coherence of color
embeddings in DNNs, and we assess how well these algorithms predict human color
similarity judgments collected via an online survey. We find that
state-of-the-art DNN architectures $-$ including convolutional neural networks
and vision transformers $-$ provide color similarity judgments that strikingly
diverge from human color judgments of (i) images with controlled color
properties, (ii) images generated from online searches, and (iii) real-world
images from the canonical CIFAR-10 dataset. We compare DNN performance against
an interpretable and cognitively plausible model of color perception based on
wavelet decomposition, inspired by foundational theories in computational
neuroscience. While one deep learning model $-$ a convolutional DNN trained on
a style transfer task $-$ captures some aspects of human color perception, our
wavelet algorithm provides more coherent color embeddings that better predict
human color judgments compared to all DNNs we examine. These results hold when
altering the high-level visual task used to train similar DNN architectures
(e.g., image classification versus image segmentation), as well as when
examining the color embeddings of different layers in a given DNN architecture.
These findings break new ground in the effort to analyze the perceptual
representations of machine learning algorithms and to improve their ability to
serve as cognitively plausible models of human vision. Implications for machine
learning, human perception, and embodied cognition are discussed.
- Abstract（参考訳）: 深層ニューラルネットワーク(dnn)は、画像分類や物体認識タスクにおける印象的なパフォーマンスによって、人間の視覚モデルとしてますます提案されている。
しかし、DNNが色知覚などの人間の視覚の基本的側面をどの程度捉えているかはいまだ不明である。
そこで我々は,DNNにおける色埋め込みの知覚的コヒーレンスを評価する新しい実験を開発し,これらのアルゴリズムがオンライン調査により収集した色類似性判定の精度を評価する。
最先端のDNNアーキテクチャは、畳み込みニューラルネットワークやビジョントランスフォーマーを含む$-$が、人間の色判定から著しく異なる色類似性判定を提供する。
(i)色特性が制御された画像
(ii)オンライン検索から生成された画像
(iii)標準CIFAR-10データセットの現実世界の画像。
計算神経科学の基礎理論に触発されたウェーブレット分解に基づく色知覚の解釈可能で認知的に妥当なモデルとdnnの性能を比較する。
1つのディープラーニングモデル$-$は、スタイル伝達タスクで訓練された畳み込みDNNであり、$-$は、人間の色知覚のいくつかの側面をキャプチャする。
これらの結果は、類似のDNNアーキテクチャ(例えば、画像分類と画像セグメント化)のトレーニングに使用される高レベルな視覚タスクを変更するときだけでなく、特定のDNNアーキテクチャに異なるレイヤのカラー埋め込みを調べる際にも有効である。
これらの発見は、機械学習アルゴリズムの知覚的表現を分析し、人間の視覚の認知可能なモデルとして機能する能力を向上させる努力において、新たな基盤を打ち破る。
機械学習,人間知覚,具体化認知の意義について考察する。
関連論文リスト
- Dimensions underlying the representational alignment of deep neural networks with humans [3.1668470116181817]
我々は、人間とディープニューラルネットワーク(DNN)において、同等の表現を得るための一般的なフレームワークを提案する。
この枠組みを人間に適用し、自然画像のDNNモデルを用いて、視覚次元と意味次元の両方の低次元DNN埋め込みを明らかにした。
人間とは対照的に、DNNは視覚的オーバーセマンティックな特徴の明確な優位性を示し、画像を表現するための異なる戦略を示した。
論文 参考訳（メタデータ） (2024-06-27T11:14:14Z) - Color Equivariant Convolutional Networks [50.655443383582124]
CNNは、偶然に記録された条件によって導入された色の変化の間にデータ不均衡がある場合、苦労する。
カラースペクトル間の形状特徴共有を可能にする新しいディープラーニングビルディングブロックであるカラー等変畳み込み(CEConvs)を提案する。
CEConvsの利点は、様々なタスクに対するダウンストリーム性能と、列車-テストの分散シフトを含む色の変化に対するロバスト性の改善である。
論文 参考訳（メタデータ） (2023-10-30T09:18:49Z) - Harmonizing the object recognition strategies of deep neural networks
with humans [10.495114898741205]
最先端のディープニューラルネットワーク(DNN)は、精度が向上するにつれて、人間との整合性が低下していることを示す。
我々の研究は、現在DNNの設計を導くスケーリング法則が、人間の視覚を悪化させるモデルを生み出した最初の例である。
論文 参考訳（メタデータ） (2022-11-08T20:03:49Z) - A domain adaptive deep learning solution for scanpath prediction of
paintings [66.46953851227454]
本稿では,ある絵画の視覚的体験における視聴者の眼球運動分析に焦点を当てた。
我々は、人間の視覚的注意を予測するための新しいアプローチを導入し、人間の認知機能に影響を及ぼす。
提案した新しいアーキテクチャは、画像を取り込んでスキャンパスを返す。
論文 参考訳（メタデータ） (2022-09-22T22:27:08Z) - Impact of Colour Variation on Robustness of Deep Neural Networks [0.0]
ディープニューラルネットワーク(DNN)は、画像分類、セグメンテーション、オブジェクト検出といったコンピュータビジョンアプリケーションの最先端のパフォーマンスを示している。
最近の進歩は、入力データ、すなわち敵攻撃における手動のデジタル摂動に対する脆弱性を示している。
本研究では,イメージネットのサブセットにRGB色を27種類の組み合わせで変形させることにより,色差データセットを提案する。
論文 参考訳（メタデータ） (2022-09-02T08:16:04Z) - Learning to Structure an Image with Few Colors and Beyond [59.34619548026885]
カラー量子化ネットワークであるColorCNNを提案し、分類損失を最小限に抑えて、限られた色空間で画像を構成することを学習する。
複数の色空間サイズ構成をサポートするColorCNN+を導入し、大色空間における認識精度の低下と望ましくない視覚的忠実度に関する過去の問題に対処する。
潜在的な応用として、ネットワーク認識のための画像圧縮手法としてColorCNNが利用可能であることを示す。
論文 参考訳（メタデータ） (2022-08-17T17:59:15Z) - Prune and distill: similar reformatting of image information along rat
visual cortex and deep neural networks [61.60177890353585]
深部畳み込み神経ネットワーク(CNN)は、脳の機能的類似、視覚野の腹側流の優れたモデルを提供することが示されている。
ここでは、CNNまたは視覚野の内部表現で知られているいくつかの顕著な統計的パターンについて考察する。
我々は、CNNと視覚野が、オブジェクト表現の次元展開/縮小と画像情報の再構成と、同様の密接な関係を持っていることを示す。
論文 参考訳（メタデータ） (2022-05-27T08:06:40Z) - Comparing object recognition in humans and deep convolutional neural
networks -- An eye tracking study [7.222232547612573]
深部畳み込みニューラルネットワーク(DCNN)と腹側視覚経路は、大きなアーキテクチャと機能的な類似点を共有している。
人間の観察者(N = 45)と3人のフィードフォワードDCNNの比較を,視線追跡とサリエンシマップを用いて示す。
vNetと呼ばれる生物学的に妥当な受容野サイズを持つDCNNは、標準的なResNetアーキテクチャと対照的な人間の視聴行動と高い一致を示している。
論文 参考訳（メタデータ） (2021-07-30T23:32:05Z) - Assessing The Importance Of Colours For CNNs In Object Recognition [70.70151719764021]
畳み込みニューラルネットワーク(CNN)は相反する性質を示すことが示されている。
CNNが予測をしながら色情報に大きく依存していることを実証します。
congruent, greyscale, incongruent画像の合同画像で学習したモデルを評価する。
論文 参考訳（メタデータ） (2020-12-12T22:55:06Z) - Continuous Emotion Recognition with Spatiotemporal Convolutional Neural
Networks [82.54695985117783]
In-theld でキャプチャした長いビデオシーケンスを用いて,持続的な感情認識のための最先端のディープラーニングアーキテクチャの適合性を検討する。
我々は,2D-CNNと長期記憶ユニットを組み合わせた畳み込みリカレントニューラルネットワークと,2D-CNNモデルの微調整時の重みを膨らませて構築した膨らませた3D-CNNモデルを開発した。
論文 参考訳（メタデータ） (2020-11-18T13:42:05Z) - Seeing eye-to-eye? A comparison of object recognition performance in
humans and deep convolutional neural networks under image manipulation [0.0]
本研究では,ヒトとフィードフォワードニューラルネットワークの視覚コア物体認識性能の行動比較を目的とした。
精度分析の結果、人間はDCNNを全ての条件で上回るだけでなく、形状や色の変化に対する強い堅牢性も示している。
論文 参考訳（メタデータ） (2020-07-13T10:26:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。