論文の概要: Diagnosing Vision Language Models' Perception by Leveraging Human Methods for Color Vision Deficiencies

• arxiv url: http://arxiv.org/abs/2505.17461v1
• Date: Fri, 23 May 2025 04:43:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.814326
• Title: Diagnosing Vision Language Models' Perception by Leveraging Human Methods for Color Vision Deficiencies
• Title（参考訳）: 色覚障害に対するヒューマン・メソッドの活用による視覚言語モデルの認識
• Authors: Kazuki Hayashi, Shintaro Ozaki, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe,
• Abstract要約: 石原テストを用いて,視覚言語モデルによる個人レベルの知覚変動を推定する能力を評価する。 以上の結果から,LVLMは自然言語で色覚障害を説明できるが,画像ベースタスクにおいてCVDが色知覚に与える影響をシミュレートすることはできない。
• 参考スコア（独自算出の注目度）: 23.761989930955522
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale Vision Language Models (LVLMs) are increasingly being applied to a wide range of real-world multimodal applications, involving complex visual and linguistic reasoning. As these models become more integrated into practical use, they are expected to handle complex aspects of human interaction. Among these, color perception is a fundamental yet highly variable aspect of visual understanding. It differs across individuals due to biological factors such as Color Vision Deficiencies (CVDs), as well as differences in culture and language. Despite its importance, perceptual diversity has received limited attention. In our study, we evaluate LVLMs' ability to account for individual level perceptual variation using the Ishihara Test, a widely used method for detecting CVDs. Our results show that LVLMs can explain CVDs in natural language, but they cannot simulate how people with CVDs perceive color in image based tasks. These findings highlight the need for multimodal systems that can account for color perceptual diversity and support broader discussions on perceptual inclusiveness and fairness in multimodal AI.
• Abstract（参考訳）: 大規模ビジョン言語モデル(LVLM)は、複雑な視覚的および言語的推論を含む、幅広い実世界のマルチモーダルアプリケーションに適用されつつある。 これらのモデルが実用化されるにつれて、人間のインタラクションの複雑な側面を扱うことが期待されている。 これらのうち、色知覚は視覚的理解の基本的な側面であるが非常に可変的な側面である。 色覚障害(CVD)などの生物学的要因や、文化や言語の違いにより個人によって異なる。 その重要性にもかかわらず、知覚の多様性は限定的に注目されている。 本研究は, CVD検出法として広く用いられている石原テストを用いて, LVLMの個人レベルの知覚変動を推定する能力について検討した。 以上の結果から,LVLMは自然言語でCVDを説明できるが,画像ベースタスクにおけるCVDの色の知覚をシミュレートすることはできない。 これらの知見は、色知覚多様性を説明できるマルチモーダルシステムの必要性を強調し、マルチモーダルAIにおける知覚包摂性と公正性に関する広範な議論を支援する。

関連論文リスト

• ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs [98.27348724529257]
  ViCrit (Visual Caption Hallucination Critic) は、VLMを訓練し、人間の手書き画像キャプションの段落に挿入された微妙で合成的な視覚幻覚をローカライズするRLプロキシタスクである。 ViCrit Taskでトレーニングされたモデルは、さまざまなビジョン言語モデルベンチマークで大幅に向上している。
  論文  参考訳（メタデータ） (2025-06-11T19:16:54Z)
• Visual Language Models show widespread visual deficits on neuropsychological tests [0.0]
  神経心理学のツールキットを用いて3つの最先端ビジュアル言語モデル(VLM)の能力を評価する。 臨床的に有意と思われる低位・中位の視覚能力に広範な欠陥がみられた。 これらの選択的欠陥は、検証されたテストバッテリーを通してプロファイルされ、人間には明示的な訓練を必要としない基礎的な視覚概念を発達させることなく、人工知能が複雑な物体認識を達成できることを示唆している。
  論文  参考訳（メタデータ） (2025-04-15T01:04:56Z)
• Towards a Systematic Evaluation of Hallucinations in Large-Vision Language Models [57.58426038241812]
  LVLM(Large Vision-Language Models)は、複雑なマルチモーダルタスクにおいて顕著な性能を示す。 これらのモデルは、画像から様々な視覚的実体を暗黙的に認識または推測する必要がある場合、まだ幻覚に悩まされている。 本稿では,視覚的質問応答(VQA)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-12-29T23:56:01Z)
• With Ears to See and Eyes to Hear: Sound Symbolism Experiments with Multimodal Large Language Models [16.583370726582356]
  視覚言語モデル (VLM) は, 正書法や画像のみからの抽象的推論により, 暗黙的に音による現象を理解できることを示す。 我々は,古典的キキ・ブーバやミル・マール形状の再現,等級記号課題などの実験を行った。 以上の結果から, VLMは人体ラベルとの一致のレベルが異なることが示され, サイリコ実験ではVLMと人体ラベルとの対応がより重要となる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-09-23T11:13:25Z)
• Beyond the Hype: A dispassionate look at vision-language models in medical scenario [3.4299097748670255]
  LVLM(Large Vision-Language Models)は、様々なタスクにまたがる顕著な能力を示す。 医学などの専門分野における性能や信頼性は依然として十分に評価されていない。 本稿では,既存のLVLMを包括的に評価する新しいベンチマークであるRadVUQAを紹介する。
  論文  参考訳（メタデータ） (2024-08-16T12:32:44Z)
• Modelling Multimodal Integration in Human Concept Processing with Vision-Language Models [7.511284868070148]
  視覚言語情報の統合が、人間の脳活動とより整合した表現に繋がるかどうかを考察する。 ヒト脳活性化予測におけるマルチモーダルモデルの有用性が示唆された。
  論文  参考訳（メタデータ） (2024-07-25T10:08:37Z)
• Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs [50.77984109941538]
  近年のマルチモーダル LLM の視覚能力は, いまだに系統的な欠点を呈している。 CLIP-blind pairs'(CLIP-blind pairs)を識別する。 様々なCLIPに基づく視覚・言語モデルの評価を行い、CLIPモデルに挑戦する視覚パターンとマルチモーダルLLMの問題との間に顕著な相関関係を見出した。
  論文  参考訳（メタデータ） (2024-01-11T18:58:36Z)
• Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
  ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。 コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
  論文  参考訳（メタデータ） (2023-11-26T09:11:32Z)
• Large Language Models are Visual Reasoning Coordinators [144.67558375045755]
  視覚的推論のために複数の視覚言語モデルを協調する新しいパラダイムを提案する。 提案手法は,視覚的質問応答における最先端性能を実現するため,命令チューニングの変種であるCola-FTを提案する。 また,テキスト内学習の変種であるCola-Zeroは,ゼロおよび少数ショット設定で競合性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-10-23T17:59:31Z)
• Large language models predict human sensory judgments across six modalities [12.914521751805658]
  我々は、現在最先端の大規模言語モデルが、知覚世界を言語から回復する問題に対する新たな洞察を解き放つことができることを示す。 我々は、6つの精神物理学的データセットにわたるGPTモデルからペアワイズ類似性判定を導出する。 これらの判断は, 色輪やピッチスパイラルなどのよく知られた表現を復元し, 全領域にわたる人的データと有意な相関関係を示す。
  論文  参考訳（メタデータ） (2023-02-02T18:32:46Z)
• ColorSense: A Study on Color Vision in Machine Visual Recognition [57.916512479603064]
  視覚認識ベンチマークから,前景や背景色ラベルの非自明なアノテーション110,000点を収集する。 色識別のレベルがマシン認識モデルの性能に与える影響を実証することにより、データセットの使用を検証した。 その結果,分類や局所化などの物体認識タスクは,色覚バイアスの影響を受けやすいことが示唆された。
  論文  参考訳（メタデータ） (2022-12-16T18:51:41Z)
• Localization vs. Semantics: Visual Representations in Unimodal and Multimodal Models [57.08925810659545]
  既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。 我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。 我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
  論文  参考訳（メタデータ） (2022-12-01T05:00:18Z)
• DiMBERT: Learning Vision-Language Grounded Representations with Disentangled Multimodal-Attention [101.99313208598569]
  視覚と言語(V-L)タスクは、視覚内容と自然言語の両方を理解する必要がある。 視覚と言語に対する注意空間を分離したDiMBERT(Disentangled Multimodal-Attention BERT)を提案する。 DiMBERTは3つのタスクに対して最新のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2022-10-28T23:00:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。