Fugu-MT 論文翻訳(概要): Seeing Red, Thinking Bad: Color Bias in Vision Language Models

論文の概要: Seeing Red, Thinking Bad: Color Bias in Vision Language Models

arxiv url: http://arxiv.org/abs/2608.14286v1
Date: Fri, 14 Aug 2026 13:14:58 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-17 20:14:29.387249
Title: Seeing Red, Thinking Bad: Color Bias in Vision Language Models
Title（参考訳）: 視覚言語モデルにおける色バイアス
Abstract要約: 視覚言語モデル(VLM)は,画像として描画されたテキストをどう解釈するかを検討する。テキストの視覚的スタイリングを微調整するStealth Visual Promptsを導入する。このような視覚摂動が視覚エンコーダの潜在表現に与える影響を解析する。
参考スコア（独自算出の注目度）: 15.71276442449841
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Vision language models (VLMs) are increasingly used in industrial decision-making systems, such as recruitment support and recommendation. This motivates careful analysis of how VLMs process visual and textual information. In this work, we study how VLMs interpret text rendered as an image, and investigate the influence of visual styling biases. To this end, we introduce Stealth Visual Prompts, which subtly change visual styling of text, such as color and contrast, while preserving semantic content. Using these prompts, we systematically control the visual styling of words in text and measure their impact on the analysis performed by VLMs. We further analyze how such visual perturbations affect the latent representations of the vision encoder. From our experiments, we observed that coloring positive words in green consistently shifts sentiment predictions toward a positive direction. As a result, VLMs often fail to properly account for negative words present in the text. Our analysis suggests that this behavior is correlated with changes in the latent representations of the vision encoder induced by color variations. In addition, we show that reducing text--background contrast increases reliance on visually salient cues and leads to more incorrect Visual Question Answering (VQA) outputs. These results suggest that the visual styling of rendered text can guide VLMs' interpretation in ways that diverge from human semantic understanding. Project page: https://github.com/KohsukeIde/color-bias-vlm
Abstract（参考訳）: ヴィジュアル言語モデル(VLM)は、採用支援やレコメンデーションといった産業的な意思決定システムでますます使われている。このことは、VLMが視覚情報やテキスト情報をどのように処理するかを注意深く分析する動機となっている。本研究では,VLMがテキストを画像として解釈し,視覚的スタイリングバイアスの影響について検討する。そこで本研究では,意味的コンテンツを保存しながら,色やコントラストなどのテキストの視覚的スタイリングを微調整するStealth Visual Promptsを紹介する。これらのプロンプトを用いて、テキスト中の単語の視覚的スタイリングを体系的に制御し、VLMによる解析に与える影響を測定する。さらに、このような視覚摂動が視覚エンコーダの潜伏表現にどのように影響するかを分析する。実験の結果,緑における肯定的な単語の着色は,感情予測を肯定的な方向へと一貫的にシフトすることがわかった。結果として、VLMはテキストに存在する否定的な単語を適切に説明できないことが多い。この挙動は,色変化によって誘発される視覚エンコーダの潜時表現の変化と相関することが示唆された。さらに,テキスト背景コントラストの低減は視覚的に有意な手がかりに頼りやすくなり,より誤った視覚質問回答(VQA)出力がもたらされることを示す。これらの結果は、レンダリングされたテキストの視覚的スタイリングがVLMの解釈を人間の意味的理解から切り離す方法で導くことを示唆している。プロジェクトページ:https://github.com/KohsukeIde/color-bias-vlm

関連論文リスト

ReViCo: Unveiling the Limitations of VLMs in Visual Text Understanding via Error Correction [4.965105730448841]
視覚言語モデル(VLM)は、一般的な視覚的タスクにおいて大きな成功を収めてきたが、画像内のテキストの理解に苦慮している。本稿では,視覚的テキスト誤り訂正の新たなタスクを通じてVLMテキスト理解を評価するためのベンチマークであるReViCoを紹介する。
論文参考訳（メタデータ） (2026-08-27T14:06:11Z)
Stateful Visual Encoders for Vision-Language Models [85.81539882553659]
視覚言語モデル(VLM)は、意思決定が視覚的変化に依存するマルチイメージ、マルチターンエージェント設定において、ますます使われている。既存のオープンウェイトなVLMでは、ビジュアル比較は言語モデル内でのみ行われ、ビジュアルエンコーダ自体はステートレスのままである。我々は、先行する視覚的特徴に対して各視覚的表現を条件付けるステートフルビジュアルを導入する。
論文参考訳（メタデータ） (2026-06-03T04:31:15Z)
Aligning What Vision-Language Models See and Perceive with Adaptive Information Flow [32.21470980856891]
VLM(Vision-Language Models)は、視覚認識、文書解析、視覚的グラウンドニングなど、幅広いタスクにおいて強力な能力を示している。最近の研究は、VLMが問題に対応する正しい画像領域をキャプチャすることが多いが、必ずしも正しい答えを生成するとは限らないことを示している。テキストトークンが無関係な視覚トークンに過度に注意を散らしすぎる場合、この誤認識はVLM内の最適情報フローに起因する可能性があることを示す。
論文参考訳（メタデータ） (2026-04-17T08:07:22Z)
VisualScratchpad: Inference-time Visual Concepts Analysis in Vision Language Models [81.7389759509619]
推論中の視覚的概念分析のための対話型インタフェースであるVisualScratchpadを紹介する。視覚エンコーダにスパースオートエンコーダを適用し,テキスト・ツー・イメージ・アテンションを介して視覚概念をテキストトークンにリンクする。 VisualScratchpadはまたトークンラテントヒートマップビューも提供しており、因果解析における効果的な概念アブレーションに十分なラテントのセットを示唆している。
論文参考訳（メタデータ） (2026-03-07T20:52:09Z)
Examining Vision Language Models through Multi-dimensional Experiments with Vision and Text Features [0.4934817254755008]
視覚言語モデル(VLM)は、画像の視覚的特性に関する質問に答えるために訓練中に学んだ固有のバイアスに依存する。本研究の目的は、視覚言語モデルがどのように変化するかを学習し、そのような変化を特徴付ける方法を探ることである。
論文参考訳（メタデータ） (2025-09-10T03:49:40Z)
Self-Rewarding Vision-Language Model via Reasoning Decomposition [49.784411666601905]
VLM(Vision-Language Models)はしばしば視覚幻覚に悩まされ、実際に画像にないものや言語ショートカットが語られる。本稿では,外部視覚監督に頼らずに視覚推論を改善する自己回帰手法であるVision-SR1を紹介する。我々の実験は、Vision-SR1が視覚的推論を改善し、視覚幻覚を緩和し、言語ショートカットへの依存を減らすことを示した。
論文参考訳（メタデータ） (2025-08-27T08:01:03Z)
ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs [98.27348724529257]
ViCrit (Visual Caption Hallucination Critic) は、VLMを訓練し、人間の手書き画像キャプションの段落に挿入された微妙で合成的な視覚幻覚をローカライズするRLプロキシタスクである。 ViCrit Taskでトレーニングされたモデルは、さまざまなビジョン言語モデルベンチマークで大幅に向上している。
論文参考訳（メタデータ） (2025-06-11T19:16:54Z)
Hidden in plain sight: VLMs overlook their visual representations [48.83628674170634]
視覚言語モデル(VLM)と視覚エンコーダを比較し、これらのモダリティをまたいで統合する能力を理解する。 VLMは視覚エンコーダよりも著しく性能が悪く、近距離性能に低下することがわかった。
論文参考訳（メタデータ） (2025-06-09T17:59:54Z)
Symmetrical Visual Contrastive Optimization: Aligning Vision-Language Models with Minimal Contrastive Images [7.823336661261962]
VLM(Large Vision-Language Models)は、画像の内容を無視し、言語モデルに過剰に依存する傾向にある。本稿では,S-VCO(Symmetrical Visual Contrastive Optimization)を提案する。
論文参考訳（メタデータ） (2025-02-19T18:05:42Z)
VLM's Eye Examination: Instruct and Inspect Visual Competency of Vision Language Models [19.291697178628546]
ビジョン言語モデル(VLM)は、様々なベンチマークで有望な推論能力を示している。本研究では,VLMがどのようにイメージを知覚するかを調べるために,視線検査プロセスを提案する。
論文参考訳（メタデータ） (2024-09-23T07:15:29Z)
BEAF: Observing BEfore-AFter Changes to Evaluate Hallucination in Vision-language Models [20.697019266074747]
視覚言語モデル(VLM)は、視覚エンコーダと大型言語モデル(LLM)を組み合わせて世界を認識する。近年の研究では、VLMは幻覚に弱いことが示されている。我々は、True Understanding (TU)、IGnorance (IG)、StuBbornness (SB)、InDecision (ID)といった新しいメトリクスを紹介します。
論文参考訳（メタデータ） (2024-07-18T12:11:12Z)
Visually Descriptive Language Model for Vector Graphics Reasoning [76.42082386029206]
低レベル視覚知覚と高レベル言語推論のギャップを埋めるための視覚記述型言語モデル(VDLM)を提案する。 VDLMは,様々なマルチモーダル認識および推論タスクにおいて,GPT-4oのような最先端のLMMを大幅に改善することを示す。
論文参考訳（メタデータ） (2024-04-09T17:30:18Z)
Visually-augmented pretrained language models for NLP tasks without images [77.74849855049523]
既存のソリューションはしばしば視覚的知識増強のために明示的なイメージに依存している。我々は、新しいtextbfVisually-textbfAugmented fine-tuningアプローチを提案する。我々のアプローチは、BERT、RoBERTa、BART、T5を異なるスケールで継続的に改善することができる。
論文参考訳（メタデータ） (2022-12-15T16:13:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。