論文の概要: ChartAttack: Testing the Vulnerability of LLMs to Malicious Prompting in Chart Generation

• arxiv url: http://arxiv.org/abs/2601.12983v1
• Date: Mon, 19 Jan 2026 11:57:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.888858
• Title: ChartAttack: Testing the Vulnerability of LLMs to Malicious Prompting in Chart Generation
• Title（参考訳）: ChartAttack: LLMの脆弱性をチャート生成の不正なプロンプトにテストする
• Authors: Jesus-German Ortiz-Barajas, Jonathan Tonglet, Vivek Gupta, Iryna Gurevych,
• Abstract要約: マルチモーダルな大言語モデル(MLLM)は、データテーブルからのチャート生成を自動化するためにますます使われている。 ChartAttackは,MLLMを誤用して大規模にミスリードチャートを生成する方法を評価するフレームワークである。
• 参考スコア（独自算出の注目度）: 51.49421299447412
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) are increasingly used to automate chart generation from data tables, enabling efficient data analysis and reporting but also introducing new misuse risks. In this work, we introduce ChartAttack, a novel framework for evaluating how MLLMs can be misused to generate misleading charts at scale. ChartAttack injects misleaders into chart designs, aiming to induce incorrect interpretations of the underlying data. Furthermore, we create AttackViz, a chart question-answering (QA) dataset where each (chart specification, QA) pair is labeled with effective misleaders and their induced incorrect answers. Experiments in in-domain and cross-domain settings show that ChartAttack significantly degrades the QA performance of MLLM readers, reducing accuracy by an average of 19.6 points and 14.9 points, respectively. A human study further shows an average 20.2 point drop in accuracy for participants exposed to misleading charts generated by ChartAttack. Our findings highlight an urgent need for robustness and security considerations in the design, evaluation, and deployment of MLLM-based chart generation systems. We make our code and data publicly available.
• Abstract（参考訳）: マルチモーダルな大規模言語モデル(MLLM)は、データテーブルからのチャート生成を自動化し、効率的なデータ分析とレポートを可能にするとともに、新たな誤用リスクも導入する。 本稿では,MLLMを誤用して大規模に誤解を招くチャートを生成する方法を評価する新しいフレームワークであるChartAttackを紹介する。 ChartAttackは、誤ったリーダをチャート設計に注入し、基盤となるデータの誤った解釈を誘導する。 さらに、グラフ質問回答(QA)データセットであるAttackVizを作成し、各ペア(チャート仕様、QA)に効果的なミスリーダーとその誘導された誤った回答をラベル付けする。 ドメイン内およびクロスドメイン設定の実験では、ChartAttackはMLLMリーダーのQA性能を著しく低下させ、平均19.6ポイントと14.9ポイントの精度を低下させた。 人間の研究では、ChartAttackが作成した誤解を招くチャートに暴露された被験者の平均20.2ポイントの精度が低下している。 本研究は,MLLMをベースとしたチャート生成システムの設計,評価,展開において,ロバスト性やセキュリティに関する緊急の必要性を浮き彫りにするものである。 コードとデータを公開しています。

関連論文リスト

• ChartLens: Fine-grained Visual Attribution in Charts [106.44872805609673]
  Post-Hoc Visual Attribution for Chartsは、所定のチャート関連応答を検証する詳細なチャート要素を特定する。 グラフオブジェクトの識別にセグメンテーションに基づく手法を用いた新しいチャート属性アルゴリズムであるChartLensを提案する。 評価の結果,ChartLensの微粒化属性は26-66%向上した。
  論文  参考訳（メタデータ） (2025-05-25T23:17:32Z)
• Unmasking Deceptive Visuals: Benchmarking Multimodal Large Language Models on Misleading Chart Question Answering [45.67334913593117]
  誤解を招く可視化は、公衆の理解にリスクをもたらし、データ駆動通信に関わるAIシステムに対して安全上の懸念を提起する。 我々は、24の最先端MLLMをベンチマークし、ミスリーダータイプとチャートフォーマット間での性能を分析し、新しい地域対応推論パイプラインを提案する。 我々の研究は、堅牢で信頼性があり、責任ある視覚コミュニケーションの要求に沿うMLLMを開発するための基盤を築いた。
  論文  参考訳（メタデータ） (2025-03-23T18:56:33Z)
• Chart-HQA: A Benchmark for Hypothetical Question Answering in Charts [62.45232157149698]
  本稿では,同じ質問に対して仮定を課し,グラフの内容に基づいた反実的推論を行うようモデルに強制する,新しいChart hypothetical Question Answering (HQA)タスクを提案する。 さらに,MLLMの効率的なテキスト編集機能と人間の知識を併用して,多種多様な高品質HQAデータを低コストで生成する,人間とAIの対話型データ合成手法であるHAIを導入する。
  論文  参考訳（メタデータ） (2025-03-06T05:08:40Z)
• Protecting multimodal large language models against misleading visualizations [94.71976205962527]
  この結果から,誤解を招く可視化に対する質問応答(QA)の精度が,ランダムなベースラインのレベルに平均で低下していることが示唆された。 本研究では,非ミスリーディングの精度を損なうことなく,誤解を招くビジュアライゼーションにおけるQA性能を改善するための最初の推論時間手法を提案する。 テーブルベースのQAと視覚化を再描画する2つの方法が有効であり、最大19.6ポイントの改善が期待できる。
  論文  参考訳（メタデータ） (2025-02-27T20:22:34Z)
• ChartX & ChartVLM: A Versatile Benchmark and Foundation Model for Complicated Chart Reasoning [55.22996841790139]
  我々は、チャート領域における既製のマルチモーダル言語モデル(MLLM)の能力をベンチマークする。 ChartXは18種類のチャートタイプ,7つのチャートタスク,22のディシプリナトピック,高品質なチャートデータを含むマルチモーダルな評価セットである。 我々は、解釈可能なパターンに強く依存するマルチモーダルタスクに対する新しい視点を提供するため、ChartVLMを開発した。
  論文  参考訳（メタデータ） (2024-02-19T14:48:23Z)
• ChartBench: A Benchmark for Complex Visual Reasoning in Charts [36.492851648081405]
  MLLM(Multimodal Large Language Models)は画像の理解と生成に優れた能力を示している。 現在のベンチマークでは、限定的なチャートタイプと不適切なメトリクスのため、MLLMのチャート理解を正確に評価することができない。 複雑な視覚的推論によってチャートの理解とデータの信頼性を評価するための総合的なベンチマークであるChartBenchを提案する。
  論文  参考訳（メタデータ） (2023-12-26T07:20:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。