論文の概要: ColorSense: A Study on Color Vision in Machine Visual Recognition
- arxiv url: http://arxiv.org/abs/2212.08650v2
- Date: Tue, 01 Oct 2024 21:58:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-03 15:17:16.378076
- Title: ColorSense: A Study on Color Vision in Machine Visual Recognition
- Title（参考訳）: ColorSense: 機械視覚認識における色覚に関する研究
- Authors: Ming-Chang Chiu, Yingfei Wang, Derrick Eui Gyu Kim, Pin-Yu Chen, Xuezhe Ma,
- Abstract要約: 視覚認識ベンチマークから,前景や背景色ラベルの非自明なアノテーション110,000点を収集する。
色識別のレベルがマシン認識モデルの性能に与える影響を実証することにより、データセットの使用を検証した。
その結果,分類や局所化などの物体認識タスクは,色覚バイアスの影響を受けやすいことが示唆された。
- 参考スコア（独自算出の注目度）: 57.916512479603064
- License:
- Abstract: Color vision is essential for human visual perception, but its impact on machine perception is still underexplored. There has been an intensified demand for understanding its role in machine perception for safety-critical tasks such as assistive driving and surgery but lacking suitable datasets. To fill this gap, we curate multipurpose datasets ColorSense, by collecting 110,000 non-trivial human annotations of foreground and background color labels from popular visual recognition benchmarks. To investigate the impact of color vision on machine perception, we assign each image a color discrimination level based on its dominant foreground and background colors and use it to study the impact of color vision on machine perception. We validate the use of our datasets by demonstrating that the level of color discrimination has a dominating effect on the performance of mainstream machine perception models. Specifically, we examine the perception ability of machine vision by considering key factors such as model architecture, training objective, model size, training data, and task complexity. Furthermore, to investigate how color and environmental factors affect the robustness of visual recognition in machine perception, we integrate our ColorSense datasets with image corruptions and perform a more comprehensive visual perception evaluation. Our findings suggest that object recognition tasks such as classification and localization are susceptible to color vision bias, especially for high-stakes cases such as vehicle classes, and advanced mitigation techniques such as data augmentation and so on only give marginal improvement. Our analyses highlight the need for new approaches toward the performance evaluation of machine perception models in real-world applications. Lastly, we present various potential applications of ColorSense such as studying spurious correlations.
- Abstract（参考訳）: 色覚は人間の視覚知覚には不可欠であるが、マシン知覚への影響はいまだに過小評価されている。
補助運転や手術などの安全クリティカルなタスクにおいて、機械認識におけるその役割を理解するために、適切なデータセットが欠如している、という要求が強まっている。
このギャップを埋めるために、人気のある視覚認識ベンチマークから、前景と背景の色ラベルの110,000の非自明なアノテーションを収集することにより、多目的データセットのColorSenseをキュレートする。
色覚が機械知覚に与える影響を調べるため,各画像の背景色と背景色に基づいて色識別レベルを割り当て,その色覚が機械知覚に与える影響について検討する。
色識別のレベルが主流のマシン認識モデルの性能に支配的な影響を及ぼすことを示すことで、データセットの使用を検証した。
具体的には、モデルアーキテクチャ、トレーニング目標、モデルサイズ、トレーニングデータ、タスク複雑性といった重要な要素を考慮し、マシンビジョンの知覚能力を検討する。
さらに、色と環境要因が機械認識における視覚認識の堅牢性にどのように影響するかを調べるために、我々のColorSenseデータセットと画像の破損を統合し、より包括的な視覚知覚評価を行う。
分類や局所化などの物体認識タスクは色覚バイアスの影響を受けやすいことが示唆され,特に車種やデータ強化などの高度な緩和技術は限界改善に留まった。
本分析は,実世界のアプリケーションにおけるマシン認識モデルの性能評価への新たなアプローチの必要性を浮き彫りにしている。
最後に,ColorSenseの潜在的な応用として,スプリアス相関について検討する。
関連論文リスト
- When Does Perceptual Alignment Benefit Vision Representations? [76.32336818860965]
視覚モデル表現と人間の知覚的判断との整合がユーザビリティに与える影響について検討する。
モデルと知覚的判断を一致させることで、多くの下流タスクで元のバックボーンを改善する表現が得られることがわかった。
その結果,人間の知覚的知識に関する帰納バイアスを視覚モデルに注入することは,より良い表現に寄与することが示唆された。
論文 参考訳（メタデータ） (2024-10-14T17:59:58Z) - What Makes Pre-Trained Visual Representations Successful for Robust
Manipulation? [57.92924256181857]
照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。
創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
論文 参考訳（メタデータ） (2023-11-03T18:09:08Z) - FACET: Fairness in Computer Vision Evaluation Benchmark [21.862644380063756]
コンピュータビジョンモデルは、性別や肌のトーンなどの属性間でパフォーマンスの相違が知られている。
FACET (FAirness in Computer Vision EvaluaTion) という新しいベンチマークを提案する。
FACETは、最も一般的な視覚タスクのための32kイメージの大規模な、一般公開された評価セットである。
論文 参考訳（メタデータ） (2023-08-31T17:59:48Z) - The Influences of Color and Shape Features in Visual Contrastive
Learning [0.0]
本稿では,個々の画像特徴(色や形状など)がモデル性能に与える影響について検討する。
実験結果から、教師付き表現と比較して、コントラスト表現は類似した色を持つオブジェクトとクラスタリングする傾向にあることが示された。
論文 参考訳（メタデータ） (2023-01-29T15:10:14Z) - Peripheral Vision Transformer [52.55309200601883]
我々は生物学的にインスパイアされたアプローチを採用し、視覚認識のためのディープニューラルネットワークの周辺視覚をモデル化する。
本稿では,マルチヘッド自己アテンション層に周辺位置エンコーディングを組み込むことにより,トレーニングデータから視覚領域を様々な周辺領域に分割することをネットワークが学べるようにすることを提案する。
大規模画像Netデータセット上でPerViTと呼ばれる提案したネットワークを評価し,マシン知覚モデルの内部動作を体系的に検討した。
論文 参考訳（メタデータ） (2022-06-14T12:47:47Z) - Fairness Indicators for Systematic Assessments of Visual Feature
Extractors [21.141633753573764]
視覚系の害やバイアスの定量化を目的とした3つの公正度指標を提案する。
我々の指標は、フェアネス評価のために収集された既存の公開データセットを使用する。
これらの指標は、新しいコンピュータビジョン技術による幅広い影響の徹底的な分析の代替にはならない。
論文 参考訳（メタデータ） (2022-02-15T17:45:33Z) - Exploring Visual Engagement Signals for Representation Learning [56.962033268934015]
VisEは、クラスタ化されたエンゲージメント信号から派生した擬似ラベルにソーシャルイメージをマップする弱い教師付き学習アプローチである。
この方法でトレーニングされたモデルが、感情認識や政治的バイアス検出といった主観的なコンピュータビジョンタスクにどのように役立つかを研究する。
論文 参考訳（メタデータ） (2021-04-15T20:50:40Z) - Affect Analysis in-the-wild: Valence-Arousal, Expressions, Action Units
and a Unified Framework [83.21732533130846]
Aff-Wild と Aff-Wild2 の2つである。
これは、これらのデータベースで訓練された深層ニューラルネットワークの2つのクラスの設計を示す。
インパクト認識を共同で学び、効果的に一般化し、実行することができる新しいマルチタスクおよび全体主義のフレームワークが提示されます。
論文 参考訳（メタデータ） (2021-03-29T17:36:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。