論文の概要: Chart Deception in Vision-Language Models: From Vulnerability to Mitigation

• arxiv url: http://arxiv.org/abs/2607.22600v1
• Date: Fri, 12 Jun 2026 13:58:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.131633
• Title: Chart Deception in Vision-Language Models: From Vulnerability to Mitigation
• Title（参考訳）: 視覚言語モデルにおけるチャートの認識:脆弱性から緩和へ
• Abstract要約: VisDeceptionは、Vis-Language Modelsの堅牢性を評価するための最初のベンチマークである。 このベンチマークには、偽の視覚化戦術の8つの主要なカテゴリにまたがる、600のペアの忠実で誤解を招くチャートが含まれている。 最新の10個のVLMからの32,000件の回答から、先進的なモデルでさえも、偽の視覚的操作に対して非常に脆弱であることが判明した。
• 参考スコア（独自算出の注目度）: 19.29322305574816
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Information visualizations are widely used to communicate patterns, trends, and outliers, yet deceptive design choices-such as truncated or inverted axes, distorted aspect ratios, inappropriate encodings, and misleading color mappings-can systematically alter interpretation while preserving the underlying data. As Vision-Language Models (VLMs) are increasingly used for chart understanding and analytical reasoning, assessing their robustness to such deceptive visualizations has become critical for trustworthy data analysis. We introduce VisDeception, the first controlled paired benchmark for evaluating the robustness of VLMs to misleading chart designs. The benchmark contains 1,600 paired faithful and misleading charts spanning eight major categories of deceptive visualization tactics, where each misleading chart is paired with a faithful counterpart generated from the same underlying data. To isolate deception-induced reasoning errors from baseline chart-understanding errors, we introduce the Deception Score, a paired evaluation metric that quantifies how misleading visualizations shift model responses away from the faithful interpretation of the data. Across 32,000 responses from 10 state-of-the-art VLMs, we find that even advanced models remain highly vulnerable to deceptive visual manipulations. To improve robustness, we further propose an inference-time multi-agent mitigation framework that grounds reasoning in structured chart metadata extracted from the visualization before answer generation, enabling models to reduce the influence of deceptive visual cues without requiring explicit user instructions. Together, our findings reveal important reliability gaps in current chart-understanding systems and establish benchmark-driven evaluation, deception-aware metrics, and structured reasoning as promising directions for developing more trustworthy VLMs for visual analytics.
• Abstract（参考訳）: 情報視覚化は、パターン、傾向、外れ値を伝えるのに広く使われているが、歪んだ、あるいは逆転した軸、歪んだアスペクト比、不適切なエンコーディング、誤解を招くカラーマッピングなど、誤解を招く設計選択は、基礎となるデータを保存しながら、体系的に解釈を変更できる。 VLM(Vision-Language Models)は、チャートの理解と解析的推論にますます使われてきており、そのような誤認的な視覚化に対する堅牢性を評価することは、信頼できるデータ分析にとって重要になっている。 本稿では,VLMのロバスト性を評価するための最初のペアベンチマークであるVisDeceptionを紹介する。 ベンチマークには、誤解を招く視覚化戦術の8つの主要なカテゴリにまたがる1,600のペアの忠実で誤解を招くチャートが含まれており、それぞれの誤解を招くチャートは、同じ基礎データから生成された忠実なグラフとペアリングされる。 そこで本研究では,デシージョン・スコア(Deception Score)という,データの忠実な解釈からモデル応答をいかに逸脱させるかを定量的に評価する指標を提案する。 最新の10個のVLMからの32,000件の回答から、先進的なモデルでさえも、偽の視覚的操作に対して非常に脆弱であることが判明した。 さらに,ロバスト性を改善するために,回答生成前の可視化から抽出した構造化チャートメタデータの推論を基盤とした,推論時マルチエージェント緩和フレームワークを提案する。 そこで本研究では,従来のグラフ理解システムにおいて重要な信頼性の欠如を明らかにし,ベンチマークによる評価,偽造認識メトリクス,構造化推論を視覚分析のための信頼性の高いVLMを開発する上で有望な方向として位置づけた。

関連論文リスト

• Unveiling the Visual Counting Bottleneck in Vision-Language Models [49.591496870141846]
  この研究は視覚的数え上げを3つの認知段階(視覚的識別、大きさ認識、象徴的マッピング)に分解する。 合成Go基板と線形プローブを用いて、視覚的バックボーンは、外挿系にしっかりと、線形に分離可能な量表現を保っていることを示す。 我々は、崩壊をシンボルマッピングステージに向ける。そこでは、モデルがシンボルトークンに有効な視覚的大きさを投影することに失敗する。
  論文  参考訳（メタデータ） (2026-05-28T16:20:29Z)
• When Visuals Aren't the Problem: Evaluating Vision-Language Models on Misleading Data Visualizations [29.03749623289173]
  視覚言語モデル (VLM) は, 推論誤りの微粒な分類法を基礎とした, 誤解を招くビジュアル・キャプション・ペアについて評価する。 我々は、現実世界の視覚化と、人間が書いたキュレートされた誤解を招くキャプションを組み合わせたベンチマークを開発する。
  論文  参考訳（メタデータ） (2026-03-23T05:34:47Z)
• De-rendering, Reasoning, and Repairing Charts with Vision-Language Models [2.3332469289621787]
  ルールベースの視覚化リンタは違反をフラグ付けするが、コンテキストを見逃し、意味のある設計変更を示唆しない。 グラフのデレンダリング、自動分析、反復的な改善を組み合わせて、実用的な、解釈可能なフィードバックを提供するフレームワークを紹介します。
  論文  参考訳（メタデータ） (2026-02-23T19:16:27Z)
• Visual Self-Refine: A Pixel-Guided Paradigm for Accurate Chart Parsing [76.2602505940467]
  既存のモデルは、しばしば視覚的に密集したチャートに苦しむため、データの欠落、修正ミス、幻覚などのエラーにつながる。 複雑なチャートを読む際の精度を確保するために指を視覚アンカーとして使うという人間の戦略に触発され、視覚自己認識(VSR)と呼ばれる新しいパラダイムを提案する。 VSRの中核となる考え方は、モデルがピクセルレベルのローカライゼーション出力を生成し、それらを視覚化し、それらの視覚化を自身にフィードバックし、直感的にその潜在的な視覚的認識エラーを検査し修正できるようにすることである。
  論文  参考訳（メタデータ） (2026-02-18T13:40:53Z)
• RADAR: A Reasoning-Guided Attribution Framework for Explainable Visual Data Analysis [37.42273691073023]
  MLLM(Multimodal Large Language Models)は、自動視覚データ分析のための有望な機能を提供する。 しかし、視覚的データのどの部分が結論を知らせるかを可視化することができない。 MLLMの能力を評価するための第一歩を踏み出します。
  論文  参考訳（メタデータ） (2025-08-23T00:42:43Z)
• BigCharts-R1: Enhanced Chart Reasoning with Visual Reinforcement Finetuning [51.472854950300416]
  視覚的に多様なチャート画像を生成するデータセット生成パイプラインであるBigChartsを提案する。 純粋な合成データセットとは異なり、BigChartsは現実世界のデータを取り込んで、信頼性と視覚的多様性を保証する。 チャート推論に特化して設計された新たな報酬信号を導入することにより,モデルの堅牢性と一般化が促進される。
  論文  参考訳（メタデータ） (2025-08-13T13:39:17Z)
• The Perils of Chart Deception: How Misleading Visualizations Affect Vision-Language Models [11.500090488046899]
  VLM(Vision-Language Models)は、特に専門家でないユーザによって可視化の解釈に使用されるようになっている。 本研究では,8種類のミスリードチャートを対象とする10種類のモデルから16,000以上の応答を解析した。 本研究は,視覚的誤報に対するVLMの堅牢な保護の必要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-08-13T11:11:18Z)
• Protecting multimodal large language models against misleading visualizations [94.71976205962527]
  この結果から,誤解を招く可視化に対する質問応答(QA)の精度が,ランダムなベースラインのレベルに平均で低下していることが示唆された。 本研究では,非ミスリーディングの精度を損なうことなく,誤解を招くビジュアライゼーションにおけるQA性能を改善するための最初の推論時間手法を提案する。 テーブルベースのQAと視覚化を再描画する2つの方法が有効であり、最大19.6ポイントの改善が期待できる。
  論文  参考訳（メタデータ） (2025-02-27T20:22:34Z)
• Assessing Graphical Perception of Image Embedding Models using Channel Effectiveness [20.269583912221734]
  画像埋め込みモデルの視覚的知覚を評価するための新しい評価フレームワークを提案する。 チャート理解のために,様々な視覚チャネルの精度と識別可能性という,チャネルの有効性の2つの主な側面について検討する。 CLIPモデルを用いた実験では、チャンネルの精度が人間と異なることが分かり、長さ、傾き、曲率などのチャンネルで独自の識別性を示す。
  論文  参考訳（メタデータ） (2024-07-30T14:22:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。