論文の概要: When to Call an Apple Red: Humans Follow Introspective Rules, VLMs Don't

• arxiv url: http://arxiv.org/abs/2604.06422v1
• Date: Tue, 07 Apr 2026 19:59:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.221659
• Title: When to Call an Apple Red: Humans Follow Introspective Rules, VLMs Don't
• Title（参考訳）: Apple Redを呼ぶとき:人間は内省のルールをフォローする、VLMはしない
• Authors: Jonathan Nemitz, Carsten Eickhoff, Junyi Jessy Li, Kyle Mahowald, Michal Golovanevsky, William Rudman,
• Abstract要約: 決定ルールを抽出し,これらのルールに対する従順性を評価するために,グレードドカラー属性データセットを導入する。 モデルが自身の内省的ルールを体系的に違反していることが分かりました。 以上の結果から,VLMの推論失敗は困難であり,VLMの内観的自己認識が誤校正されることが示唆された。
• 参考スコア（独自算出の注目度）: 48.4091438200409
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding when Vision-Language Models (VLMs) will behave unexpectedly, whether models can reliably predict their own behavior, and if models adhere to their introspective reasoning are central challenges for trustworthy deployment. To study this, we introduce the Graded Color Attribution (GCA) dataset, a controlled benchmark designed to elicit decision rules and evaluate participant faithfulness to these rules. GCA consists of line drawings that vary pixel-level color coverage across three conditions: world-knowledge recolorings, counterfactual recolorings, and shapes with no color priors. Using GCA, both VLMs and human participants establish a threshold: the minimum percentage of pixels of a given color an object must have to receive that color label. We then compare these rules with their subsequent color attribution decisions. Our findings reveal that models systematically violate their own introspective rules. For example, GPT-5-mini violates its stated introspection rules in nearly 60\% of cases on objects with strong color priors. Human participants remain faithful to their stated rules, with any apparent violations being explained by a well-documented tendency to overestimate color coverage. In contrast, we find that VLMs are excellent estimators of color coverage, yet blatantly contradict their own reasoning in their final responses. Across all models and strategies for eliciting introspective rules, world-knowledge priors systematically degrade faithfulness in ways that do not mirror human cognition. Our findings challenge the view that VLM reasoning failures are difficulty-driven and suggest that VLM introspective self-knowledge is miscalibrated, with direct implications for high-stakes deployment.
• Abstract（参考訳）: VLM(Vision-Language Models)がいつ予期しない振る舞いをするのか、モデルが自身の振る舞いを確実に予測できるかどうか、そしてモデルがイントロスペクティブ推論に準拠しているかどうかを理解することは、信頼できるデプロイメントにおいて重要な課題である。 そこで本研究では,決定ルールを抽出し,これらのルールに対する参加者の忠実度を評価するための制御ベンチマークであるGCAデータセットを提案する。 GCAは3つの条件にまたがってピクセルレベルのカラーカバレッジを変化させる線図で構成されており、ワールド・ナレッジ・リカラー化、カウンターファクト・リカラー化、カラー先行のない形状である。 GCAを使用すると、VLMとヒトの両方の参加者が閾値を確立する: 与えられた色のピクセルの最小パーセンテージは、そのカラーラベルを受けなければならない。 次に、これらのルールとその後のカラー属性の決定を比較します。 この結果,モデルが内省規則を体系的に違反していることが判明した。 例えば、GPT-5-miniは、強い色の先行するオブジェクトの約60%のケースで、そのイントロスペクション規則に違反している。 人間の参加者は、規定されたルールに忠実であり、明らかな違反は、色カバレッジを過大評価する、十分に文書化された傾向によって説明される。 対照的に、VLMはカラーカバレッジの優れた推定器であるが、最終的な応答における独自の推論と矛盾する。 内省的ルールを引き出すためのあらゆるモデルと戦略の中で、世界知識の優先事項は、人間の認知を反映しない方法で、体系的に忠実性を低下させる。 以上の結果から,VLMの推論失敗は困難であり,VLMの内観的自己認識は誤認識であり,高いデプロイメントに直接的な意味があることが示唆された。

関連論文リスト

• ColorConceptBench: A Benchmark for Probabilistic Color-Concept Understanding in Text-to-Image Models [20.130253460357547]
  そこで本研究では,カラーコンセプション関連性を評価するための新しい人間アノテーション付きベンチマークであるColorConceptBenchを紹介する。 7つの主要なテキスト・ツー・イメージ(T2I)モデルについて評価した結果,現在のモデルでは抽象的意味論に対する感受性が欠如していることが判明した。 これは、人間のような色のセマンティクスを達成するには、より大きなモデル以上のものが必要であることを示している。
  論文  参考訳（メタデータ） (2026-01-23T15:36:02Z)
• Measuring Social Bias in Vision-Language Models with Face-Only Counterfactuals from Real Photos [79.03150233804458]
  現実のイメージは人種と性別を混在させ、背景や衣服などの関連要因や属性を隠蔽する。 テキストのみの対実的評価パラダイムを提案する。 我々は、人種や性別に関連する顔属性のみを編集し、他の視覚的要素を全て固定することで、反事実的変異を生成する。
  論文  参考訳（メタデータ） (2026-01-11T14:35:06Z)
• GenColorBench: A Color Evaluation Benchmark for Text-to-Image Generation Models [61.786094845872576]
  GenColorBenchは、テキストから画像までのカラー生成のための、最初の総合的なベンチマークである。 I SCC-NBS や CSS3/X11 などのカラーシステムにも採用されている。 400以上の色をカバーする44K色のプロンプトによって、知覚的および自動評価を通じてモデルの真の能力を明らかにする。
  論文  参考訳（メタデータ） (2025-10-23T14:12:55Z)
• ColorBench: Can VLMs See and Understand the Colorful World? A Comprehensive Benchmark for Color Perception, Reasoning, and Robustness [36.4864789593103]
  視覚言語モデル(VLM)が人間の色を知覚し、理解し、活用できるかどうかは不明である。 本稿では,色理解におけるVLMの性能を評価するベンチマークであるColorBenchを紹介する。
  論文  参考訳（メタデータ） (2025-04-10T16:36:26Z)
• Where Fact Ends and Fairness Begins: Redefining AI Bias Evaluation through Cognitive Biases [77.3489598315447]
  事実と公正の境界を識別することは有意義な公正性評価に不可欠である,と我々は主張する。 Fact-or-Fair は (i) 客観的なクエリを記述的, 事実に基づく判断, (ii) 主観的クエリを規範的, 公平性に基づく判断に整合させたベンチマークである。
  論文  参考訳（メタデータ） (2025-02-09T10:54:11Z)
• CoRe: Color Regression for Multicolor Fashion Garments [80.57724826629176]
  本稿では,RGBの正確な値を予測するために,色検出を回帰問題として扱う。 新たに提案したアーキテクチャの洗練のための第2のレグレッションステージも含んでいます。 このアーキテクチャはモジュラーであり、多色衣料のすべての色のRGBを検出するために容易に拡張される。
  論文  参考訳（メタデータ） (2020-10-06T16:12:30Z)
• Appearance Consensus Driven Self-Supervised Human Mesh Recovery [67.20942777949793]
  単眼画像から人間のポーズや形状を推定する自己教師付きメッシュ回復フレームワークを提案する。 標準モデルに基づく3次元ポーズ推定ベンチマークの最先端結果を得る。 その結果、色付きメッシュ予測により、ポーズや形状推定以外にも、さまざまな外観関連タスクにフレームワークの使用が開放される。
  論文  参考訳（メタデータ） (2020-08-04T05:40:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。