論文の概要: Chart-to-Experience: Benchmarking Multimodal LLMs for Predicting Experiential Impact of Charts
- arxiv url: http://arxiv.org/abs/2505.17374v1
- Date: Fri, 23 May 2025 01:12:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-26 18:08:33.755834
- Title: Chart-to-Experience: Benchmarking Multimodal LLMs for Predicting Experiential Impact of Charts
- Title（参考訳）: チャートから経験へ:チャートの体験的影響を予測するためのマルチモーダルLCMのベンチマーク
- Authors: Seon Gyeom Kim, Jae Young Choi, Ryan Rossi, Eunyee Koh, Tak Yeon Lee,
- Abstract要約: 我々は,36のチャートからなるベンチマークデータセットであるChart-to-Experienceを導入し,クラウドソーシング作業者が7つの実験要因に与える影響を評価した。
このデータセットを基礎的真理として用いて、2つのタスク(直接予測とグラフのペアワイズ比較)で最先端MLLMの能力を評価した。
その結果,MLLMは個々のチャートを評価する際,人間の評価値ほど敏感ではないが,相互比較では正確で信頼性が高いことが示唆された。
- 参考スコア（独自算出の注目度）: 11.029722116574604
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The field of Multimodal Large Language Models (MLLMs) has made remarkable progress in visual understanding tasks, presenting a vast opportunity to predict the perceptual and emotional impact of charts. However, it also raises concerns, as many applications of LLMs are based on overgeneralized assumptions from a few examples, lacking sufficient validation of their performance and effectiveness. We introduce Chart-to-Experience, a benchmark dataset comprising 36 charts, evaluated by crowdsourced workers for their impact on seven experiential factors. Using the dataset as ground truth, we evaluated capabilities of state-of-the-art MLLMs on two tasks: direct prediction and pairwise comparison of charts. Our findings imply that MLLMs are not as sensitive as human evaluators when assessing individual charts, but are accurate and reliable in pairwise comparisons.
- Abstract（参考訳）: MLLM(Multimodal Large Language Models)の分野は、視覚理解タスクにおいて顕著な進歩を遂げており、チャートの知覚的および感情的影響を予測する大きな機会となっている。
しかし、LLMの多くの応用は、いくつかの例から過度に一般化された仮定に基づいており、性能と有効性の十分な検証が不十分である、という懸念も持ち上がっている。
我々は,36のチャートからなるベンチマークデータセットであるChart-to-Experienceを導入し,クラウドソーシング作業者が7つの実験要因に与える影響を評価した。
このデータセットを基礎的真理として用いて、2つのタスク(直接予測とグラフのペアワイズ比較)で最先端MLLMの能力を評価した。
その結果,MLLMは個々のチャートを評価する際,人間の評価値ほど敏感ではないが,相互比較では正確で信頼性が高いことが示唆された。
関連論文リスト
- Evaluating Graphical Perception with Multimodal LLMs [2.090547583226381]
マルチモーダル大言語モデル(MLLM)は画像の解析と理解において著しく進歩している。
可視化のために、MLLMはグラフィカルな知覚タスクに適用した場合、どのように機能するか?
本研究は主に、微調整および事前訓練されたモデルとゼロショットを用いて、人間の視覚的知覚と密に一致しているかどうかを判断する。
論文 参考訳（メタデータ） (2025-04-05T16:14:08Z) - Chart-HQA: A Benchmark for Hypothetical Question Answering in Charts [62.45232157149698]
本稿では,同じ質問に対して仮定を課し,グラフの内容に基づいた反実的推論を行うようモデルに強制する,新しいChart hypothetical Question Answering (HQA)タスクを提案する。
さらに,MLLMの効率的なテキスト編集機能と人間の知識を併用して,多種多様な高品質HQAデータを低コストで生成する,人間とAIの対話型データ合成手法であるHAIを導入する。
論文 参考訳（メタデータ） (2025-03-06T05:08:40Z) - Protecting multimodal large language models against misleading visualizations [94.71976205962527]
誤解を招くビジュアライゼーションの性能を改善するための最初の推論時間手法を紹介する。
MLLM問合せ精度は, 平均値からランダム基準値まで低下することがわかった。
論文 参考訳（メタデータ） (2025-02-27T20:22:34Z) - On Pre-training of Multimodal Language Models Customized for Chart Understanding [83.99377088129282]
本稿では,MLLMのチャート理解を改善するために必要な学習過程について考察する。
詳細なチャート理解に適したMLLMであるCHOPINLLMを紹介する。
論文 参考訳（メタデータ） (2024-07-19T17:58:36Z) - Evaluating Linguistic Capabilities of Multimodal LLMs in the Lens of Few-Shot Learning [15.919493497867567]
本研究では,VALSEベンチマークを用いたマルチモーダル大規模言語モデル(MLLM)の性能評価を目的とした。
我々は,モデルサイズや事前学習データセットの異なる最先端MLLMの包括的評価を行った。
論文 参考訳（メタデータ） (2024-07-17T11:26:47Z) - ChartX & ChartVLM: A Versatile Benchmark and Foundation Model for Complicated Chart Reasoning [55.22996841790139]
我々は、チャート領域における既製のマルチモーダル言語モデル(MLLM)の能力をベンチマークする。
ChartXは18種類のチャートタイプ,7つのチャートタスク,22のディシプリナトピック,高品質なチャートデータを含むマルチモーダルな評価セットである。
我々は、解釈可能なパターンに強く依存するマルチモーダルタスクに対する新しい視点を提供するため、ChartVLMを開発した。
論文 参考訳（メタデータ） (2024-02-19T14:48:23Z) - ChartBench: A Benchmark for Complex Visual Reasoning in Charts [36.492851648081405]
MLLM(Multimodal Large Language Models)は画像の理解と生成に優れた能力を示している。
現在のベンチマークでは、限定的なチャートタイプと不適切なメトリクスのため、MLLMのチャート理解を正確に評価することができない。
複雑な視覚的推論によってチャートの理解とデータの信頼性を評価するための総合的なベンチマークであるChartBenchを提案する。
論文 参考訳（メタデータ） (2023-12-26T07:20:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。