論文の概要: On Human Visual Contrast Sensitivity and Machine Vision Robustness: A
Comparative Study
- arxiv url: http://arxiv.org/abs/2212.08650v1
- Date: Fri, 16 Dec 2022 18:51:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-19 15:49:14.792627
- Title: On Human Visual Contrast Sensitivity and Machine Vision Robustness: A
Comparative Study
- Title(参考訳): 人間の視覚コントラスト感度と機械視ロバスト性について:比較研究
- Authors: Ming-Chang Chiu, Yingfei Wang, Derrick Eui Gyu Kim, Pin-Yu Chen,
Xuezhe Ma
- Abstract要約: 色の違いがマシンビジョンにどのように影響するかは、まだよく研究されていない。
我々の研究は、視覚認識の人間の色覚と機械の色覚のギャップを埋めようとしている。
カラーコントラストと劣化画像の効果を広範囲に解析するために,新しい枠組みを2次元で考案した。
- 参考スコア(独自算出の注目度): 68.41864523774164
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is well established in neuroscience that color vision plays an essential
part in the human visual perception system. Meanwhile, many novel designs for
computer vision inspired by human vision have achieved success in a wide range
of tasks and applications. Nonetheless, how color differences affect machine
vision has not been well explored. Our work tries to bridge this gap between
the human color vision aspect of visual recognition and that of the machine. To
achieve this, we curate two datasets: CIFAR10-F and CIFAR100-F, which are based
on the foreground colors of the popular CIFAR datasets. Together with CIFAR10-B
and CIFAR100-B, the existing counterpart datasets with information on the
background colors of CIFAR test sets, we assign each image based on its color
contrast level per its foreground and background color labels and use this as a
proxy to study how color contrast affects machine vision. We first conduct a
proof-of-concept study, showing the effect of color difference and validate our
datasets. Furthermore, on a broader level, an important characteristic of human
vision is its robustness against ambient changes; therefore, drawing
inspirations from ophthalmology and the robustness literature, we analogize
contrast sensitivity from the human visual aspect to machine vision and
complement the current robustness study using corrupted images with our
CIFAR-CoCo datasets. In summary, motivated by neuroscience and equipped with
the datasets we curate, we devise a new framework in two dimensions to perform
extensive analyses on the effect of color contrast and corrupted images: (1)
model architecture, (2) model size, to measure the perception ability of
machine vision beyond total accuracy. We also explore how task complexity and
data augmentation play a role in this setup. Our results call attention to new
evaluation approaches for human-like machine perception.
- Abstract(参考訳): 色覚が人間の視覚知覚システムに不可欠な役割を担っていることは神経科学においてよく確立されている。
一方、人間の視覚にインスパイアされたコンピュータビジョンのための新しいデザインは、幅広いタスクや応用で成功している。
それでも、色の違いがマシンビジョンにどのように影響するかは十分に検討されていない。
私たちの研究は、視覚認識の人間の色覚面と機械のそれとのギャップを橋渡ししようと試みています。
これを実現するために、人気のあるcifarデータセットの前景色に基づく2つのデータセット、cifar10-fとcifar100-fをキュレートする。
CIFARテストセットの背景色に関する情報を持つ既存のデータセットであるCIFAR10-BとCIFAR100-Bと合わせて、前景と背景の色ラベルごとに色コントラストレベルに基づいて各画像を割り当て、これをプロキシとして使用し、色コントラストがマシンビジョンに与える影響を研究する。
まず、概念実証研究を行い、色差の効果を示し、データセットを検証する。
さらに、より広いレベルでは、人間の視覚の重要な特徴は、周囲の変化に対する堅牢性であり、眼科や頑健性文学からインスピレーションを得て、人間の視覚的側面からのコントラスト感度をマシンビジョンに類似させ、劣化した画像とCIFAR-CoCoデータセットを用いた現在のロバストネス研究を補完する。
まとめると, 神経科学に動機付けられ, キュレートするデータセットを取り入れた新たな枠組みを考案し, カラーコントラストと劣化画像の効果を広範囲に分析し, モデルアーキテクチャ, (2) モデルサイズ, マシンビジョンの知覚能力を総合的精度を超えて測定する。
このセットアップでは、タスクの複雑さとデータ拡張がどのように役割を果たすかについても検討する。
本研究は,人間のような機械知覚に対する新しい評価手法に注意を向ける。
関連論文リスト
- Divergences in Color Perception between Deep Neural Networks and Humans [3.0315685825606633]
我々はディープニューラルネットワーク(DNN)におけるカラー埋め込みの知覚的コヒーレンスを評価する実験を開発した。
これらのアルゴリズムがオンライン調査によって収集された人間の色類似性判定の精度を評価する。
本研究では,ウェーブレット分解に基づく色知覚モデルとDNN性能を比較した。
論文 参考訳(メタデータ) (2023-09-11T20:26:40Z) - A Computational Account Of Self-Supervised Visual Learning From
Egocentric Object Play [3.486683381782259]
本研究では,異なる視点を同一視する学習信号が,頑健な視覚学習を支援する方法について検討する。
物体の異なる物理的視点から学習した表現は、下流画像の分類精度を向上する。
論文 参考訳(メタデータ) (2023-05-30T22:42:03Z) - Edge-Aware Image Color Appearance and Difference Modeling [0.0]
人間は鮮やかな色の感覚を発達させ、外観の微妙な違いを検出することができる。
エッジ認識方式でコントラスト感度関数と局所適応規則を適用することにより、画像差分予測が改善される。
論文 参考訳(メタデータ) (2023-04-20T22:55:16Z) - The Influences of Color and Shape Features in Visual Contrastive
Learning [0.0]
本稿では,個々の画像特徴(色や形状など)がモデル性能に与える影響について検討する。
実験結果から、教師付き表現と比較して、コントラスト表現は類似した色を持つオブジェクトとクラスタリングする傾向にあることが示された。
論文 参考訳(メタデータ) (2023-01-29T15:10:14Z) - A domain adaptive deep learning solution for scanpath prediction of
paintings [66.46953851227454]
本稿では,ある絵画の視覚的体験における視聴者の眼球運動分析に焦点を当てた。
我々は、人間の視覚的注意を予測するための新しいアプローチを導入し、人間の認知機能に影響を及ぼす。
提案した新しいアーキテクチャは、画像を取り込んでスキャンパスを返す。
論文 参考訳(メタデータ) (2022-09-22T22:27:08Z) - Peripheral Vision Transformer [52.55309200601883]
我々は生物学的にインスパイアされたアプローチを採用し、視覚認識のためのディープニューラルネットワークの周辺視覚をモデル化する。
本稿では,マルチヘッド自己アテンション層に周辺位置エンコーディングを組み込むことにより,トレーニングデータから視覚領域を様々な周辺領域に分割することをネットワークが学べるようにすることを提案する。
大規模画像Netデータセット上でPerViTと呼ばれる提案したネットワークを評価し,マシン知覚モデルの内部動作を体系的に検討した。
論文 参考訳(メタデータ) (2022-06-14T12:47:47Z) - Planckian jitter: enhancing the color quality of self-supervised visual
representations [32.28858433165915]
従来の色ジッタが学習した特徴表現における色特徴の質に悪影響を及ぼすかを分析する。
私たちはこのモジュールをPlanckian jitterと呼ばれる物理ベースの色増色に置き換え、色度を現実的に変化させる。
学習した特徴の性能は照度の変化に対して頑健であることを示す。
論文 参考訳(メタデータ) (2022-02-16T11:13:37Z) - Unadversarial Examples: Designing Objects for Robust Vision [100.4627585672469]
現代の機械学習アルゴリズムの感度を入力摂動に活かし、「ロバストオブジェクト」を設計するフレームワークを開発しています。
標準ベンチマークから(シミュレーション中)ロボット工学まで,さまざまな視覚ベースのタスクに対するフレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2020-12-22T18:26:07Z) - What Can You Learn from Your Muscles? Learning Visual Representation
from Human Interactions [50.435861435121915]
視覚のみの表現よりも優れた表現を学べるかどうかを調べるために,人間のインタラクションとアテンション・キューを用いている。
実験の結果,我々の「音楽監督型」表現は,視覚のみの最先端手法であるMoCoよりも優れていた。
論文 参考訳(メタデータ) (2020-10-16T17:46:53Z) - Appearance Consensus Driven Self-Supervised Human Mesh Recovery [67.20942777949793]
単眼画像から人間のポーズや形状を推定する自己教師付きメッシュ回復フレームワークを提案する。
標準モデルに基づく3次元ポーズ推定ベンチマークの最先端結果を得る。
その結果、色付きメッシュ予測により、ポーズや形状推定以外にも、さまざまな外観関連タスクにフレームワークの使用が開放される。
論文 参考訳(メタデータ) (2020-08-04T05:40:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。