論文の概要: Feature Competition and Its Representational Origins in Vision Language Models: Evidence from the Stroop Paradigm

• arxiv url: http://arxiv.org/abs/2610.12650v1
• Date: Thu, 08 Oct 2026 19:13:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.256855
• Title: Feature Competition and Its Representational Origins in Vision Language Models: Evidence from the Stroop Paradigm
• Title（参考訳）: 視覚言語モデルにおける特徴競合とその表現の起源--ストループパラダイムからのエビデンス
• Abstract要約: 視覚言語モデル(VLM)は、画像に基づいて質問に答える。 ひとつのことを言うということは、別のことを言わないことを選ぶことです。 この問題は心理学における古典的なストループの課題によって正確に研究されている。 同一画像内の特徴がVLMの挙動に不等な影響を及ぼすことを示す。
• 参考スコア（独自算出の注目度）: 45.951094643810535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When you ask a vision-language model (VLM) a question with an image, it answers your question based on the image. But to act means to choose: saying one thing means choosing to respond not say another. This becomes an issue when the image contains multiple features that equally relate to the question at hand: how would VLMs choose to respond? This problem is precisely studied by the classical Stroop task in psychology: among a set of deliberately designed images whose text and color conflicts (e.g., \textcolor{blue}{RED}), participants are instructed to report the color. We adapt this psychological paradigm to a benchmark and prompted a range of contrastive and generative VLMs on their behavior. Across models, we observe a persistent bias toward the feature of text in Stroop images: when text and color disagree, models preferentially generate responses centered to the text rather than color. We then opened the black box and examined the source of this bias and why certain features influences the model's behavior more than others. In the embedding space, we found that textual cues are represented more strongly and separably than color cues. This representational asymmetry predicts intervention success: steering models toward text-related directions is substantially easier than steering them toward color-related directions. Using a classical psychological paradigm, we demonstrate, at both behavioral and representational levels, that distinct features within the same image can exert unequal influence on VLM behavior. Our findings suggest that VLMs assign different degrees of saliency to different features within the same image, highlighting the need to understand how cue-specific saliency shapes their performance in widely used downstream applications.
• Abstract（参考訳）: 視覚言語モデル(VLM)に画像で質問すると、画像に基づいて質問に答える。 ひとつのことを言うということは、別のことを言わないことを選ぶことです。 これは、画像が、手元にある問題と同等に関連している複数の機能を含んでいるときに問題になる。 この問題は、心理学における古典的なストループ課題によって正確に研究され、テキストと色が衝突する意図的に設計された画像群(例: \textcolor{blue}{RED})の中で、参加者に色を報告するように指示される。 我々は、この心理学パラダイムをベンチマークに適応させ、その行動に対して、さまざまな対照的かつ生成的なVLMを誘導した。 モデル全体では、Stroop画像のテキストの特徴に対する永続的なバイアスが観察される: テキストと色が一致しない場合、モデルは色ではなくテキストを中心とした応答を優先的に生成する。 その後、ブラックボックスを開き、このバイアスの原因と、なぜ特定の特徴が他のものよりもモデルの振る舞いに影響を与えるのかを調べました。 埋め込み空間では,テキストキューはカラーキューよりも強く,分離的に表現されていることがわかった。 この表現的非対称性は介入の成功を予測し、テキスト関連方向のステアリングモデルは色関連方向のステアリングよりもはるかに容易である。 古典心理学的パラダイムを用いて、行動と表現の両方のレベルで、同一画像内の異なる特徴がVLMの挙動に不平等な影響を及ぼすことを示した。 以上の結果から,VLMは同一画像内の異なる特徴に対して異なる唾液度を割り当てることが示唆された。

関連論文リスト

• Seeing Red, Thinking Bad: Color Bias in Vision Language Models [15.71276442449841]
  視覚言語モデル(VLM)は,画像として描画されたテキストをどう解釈するかを検討する。 テキストの視覚的スタイリングを微調整するStealth Visual Promptsを導入する。 このような視覚摂動が視覚エンコーダの潜在表現に与える影響を解析する。
  論文  参考訳（メタデータ） (2026-08-14T13:14:58Z)
• The Effects of Visual Priming on Cooperative Behavior in Vision-Language Models [0.0]
  VLM(Vision-Language Models)は、意思決定システムに統合されつつある。 本稿では,視覚的プライミングが協調行動に及ぼす影響を,テストシナリオとしてIterated Prisoner's Dilemma(IPD)を用いて検討する。
  論文  参考訳（メタデータ） (2026-04-30T14:50:48Z)
• Measuring Social Bias in Vision-Language Models with Face-Only Counterfactuals from Real Photos [79.03150233804458]
  現実のイメージは人種と性別を混在させ、背景や衣服などの関連要因や属性を隠蔽する。 テキストのみの対実的評価パラダイムを提案する。 我々は、人種や性別に関連する顔属性のみを編集し、他の視覚的要素を全て固定することで、反事実的変異を生成する。
  論文  参考訳（メタデータ） (2026-01-11T14:35:06Z)
• UniModel: A Visual-Only Framework for Unified Multimodal Understanding and Generation [51.31795451147935]
  本稿では,単一のピクセル間拡散フレームワーク内での視覚的理解と視覚的生成を支援する統合生成モデルを提案する。 私たちのゴールは、モデル、タスク、表現の3つの軸に沿った統一を達成することです。 画像間合成と画像間理解の実験は、強いモーダルアライメントを示す。
  論文  参考訳（メタデータ） (2025-11-21T03:02:10Z)
• Examining Vision Language Models through Multi-dimensional Experiments with Vision and Text Features [0.4934817254755008]
  視覚言語モデル(VLM)は、画像の視覚的特性に関する質問に答えるために訓練中に学んだ固有のバイアスに依存する。 本研究の目的は、視覚言語モデルがどのように変化するかを学習し、そのような変化を特徴付ける方法を探ることである。
  論文  参考訳（メタデータ） (2025-09-10T03:49:40Z)
• MiCo: Multi-image Contrast for Reinforcement Visual Reasoning [72.81576836419373]
  CoT(Chain-of-Thought)推論は、複数の画像に視覚的手がかりをリンクするために使用することができる。 視覚言語モデル(VLM)の規則に基づく強化学習に適応する 提案手法は,マルチイメージ推論ベンチマークにおいて大幅な改善を実現し,汎用視覚タスクにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2025-06-27T17:59:27Z)
• ColorBench: Can VLMs See and Understand the Colorful World? A Comprehensive Benchmark for Color Perception, Reasoning, and Robustness [36.4864789593103]
  視覚言語モデル(VLM)が人間の色を知覚し、理解し、活用できるかどうかは不明である。 本稿では,色理解におけるVLMの性能を評価するベンチマークであるColorBenchを紹介する。
  論文  参考訳（メタデータ） (2025-04-10T16:36:26Z)
• On Advances in Text Generation from Images Beyond Captioning: A Case Study in Self-Rationalization [89.94078728495423]
  近年のモダリティ,CLIP画像表現,言語モデルの拡張は,マルチモーダル入力によるタスクのマルチモーダル自己調整を一貫して改善していないことを示す。 画像キャプションを超えて画像やテキストからテキストを生成するために構築可能なバックボーンモデリング手法が提案されている。
  論文  参考訳（メタデータ） (2022-05-24T00:52:40Z)
• Probing Contextual Language Models for Common Ground with Visual Representations [76.05769268286038]
  我々は、マッチングと非マッチングの視覚表現を区別する上で、テキストのみの表現がいかに効果的かを評価するための探索モデルを設計する。 以上の結果から,言語表現だけでは,適切な対象カテゴリから画像パッチを検索する強力な信号が得られることがわかった。 視覚的に接地された言語モデルは、例えば検索においてテキストのみの言語モデルよりわずかに優れているが、人間よりもはるかに低い。
  論文  参考訳（メタデータ） (2020-05-01T21:28:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。