論文の概要: Judging the Judges: Can Large Vision-Language Models Fairly Evaluate Chart Comprehension and Reasoning?

• arxiv url: http://arxiv.org/abs/2505.08468v2
• Date: Mon, 07 Jul 2025 17:58:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.34828
• Title: Judging the Judges: Can Large Vision-Language Models Fairly Evaluate Chart Comprehension and Reasoning?
• Title（参考訳）: 裁判官の判断:大規模視線モデルでは、チャートの理解と推論を公平に評価できるか?
• Authors: Md Tahmid Rahman Laskar, Mohammed Saidul Islam, Ridwan Mahbub, Ahmed Masry, Mizanur Rahman, Amran Bhuiyan, Mir Tafseer Nayeem, Shafiq Joty, Enamul Hoque, Jimmy Huang,
• Abstract要約: 13個のオープンソースのLVLMを多彩なチャート理解および推論タスクの判断として評価した。 我々は、事実の正しさ、情報性、関連性といった基準を網羅した、ペアワイズかつポイントワイズな評価タスクを設計する。 我々は、研究開発と商業利用の両方に適した費用対効果のLVLMに焦点を当てる。
• 参考スコア（独自算出の注目度）: 26.909604648952616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Charts are ubiquitous as they help people understand and reason with data. Recently, various downstream tasks, such as chart question answering, chart2text, and fact-checking, have emerged. Large Vision-Language Models (LVLMs) show promise in tackling these tasks, but their evaluation is costly and time-consuming, limiting real-world deployment. While using LVLMs as judges to assess the chart comprehension capabilities of other LVLMs could streamline evaluation processes, challenges like proprietary datasets, restricted access to powerful models, and evaluation costs hinder their adoption in industrial settings. To this end, we present a comprehensive evaluation of 13 open-source LVLMs as judges for diverse chart comprehension and reasoning tasks. We design both pairwise and pointwise evaluation tasks covering criteria like factual correctness, informativeness, and relevancy. Additionally, we analyze LVLM judges based on format adherence, positional consistency, length bias, and instruction-following. We focus on cost-effective LVLMs (<10B parameters) suitable for both research and commercial use, following a standardized evaluation protocol and rubric to measure the LVLM judge's accuracy. Experimental results reveal notable variability: while some open LVLM judges achieve GPT-4-level evaluation performance (about 80% agreement with GPT-4 judgments), others struggle (below ~10% agreement). Our findings highlight that state-of-the-art open-source LVLMs can serve as cost-effective automatic evaluators for chart-related tasks, though biases such as positional preference and length bias persist.
• Abstract（参考訳）: チャートは、人々がデータを理解し、推論するのを助けるため、ユビキタスです。 近年,チャート質問応答,チャート2テキスト,ファクトチェックなどのダウンストリームタスクが出現している。 LVLM(Large Vision-Language Models)はこれらのタスクに取り組む上で有望であるが、その評価にはコストと時間を要するため、現実のデプロイメントを制限している。 LVLMを審査員として使用することで、他のLVLMのチャート理解能力を評価することで、評価プロセス、プロプライエタリなデータセットのような課題、強力なモデルへの制限されたアクセス、そして評価コストが産業環境への導入を妨げる可能性がある。 そこで本研究では,13のオープンソースLVLMを多種多様なチャート理解および推論タスクの判断対象として包括的に評価する。 我々は、事実の正しさ、情報性、関連性といった基準を網羅した、ペアワイズかつポイントワイズな評価タスクを設計する。 さらに,フォーマット順守,位置整合性,長さバイアス,命令追従に基づくLVLM判定器の解析を行った。 我々は,LVLMの判定精度を測定するために,標準化された評価プロトコルとルーリックに従って,研究用および商業用の両方に適した費用効率の高いLVLM((<10Bパラメータ)に着目した。 一部のオープンLVLM判事はGPT-4レベルの評価性能(約80%がGPT-4の判断と一致している)を達成する一方、他の判事は(約10%が一致している)苦闘している。 この結果から,現在最先端のオープンソースLVLMは,位置優先や長さバイアスなどのバイアスが持続するにもかかわらず,チャート関連タスクに対する費用効率の高い自動評価器として機能する可能性が示唆された。

関連論文リスト

• Quantitative LLM Judges [48.676042957523045]
  本研究では,既存のLLM審査員の評価スコアを,与えられた領域における人間の評価スコアと整合させる定量的LLM判定者を提案する。 モデルは、裁判官のテキスト評価とスコアを用いて、原判事のスコアを改善するために訓練される。 実験により, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を効果的に向上できることが示された。
  論文  参考訳（メタデータ） (2025-06-03T14:44:23Z)
• Chart-to-Experience: Benchmarking Multimodal LLMs for Predicting Experiential Impact of Charts [11.029722116574604]
  我々は,36のチャートからなるベンチマークデータセットであるChart-to-Experienceを導入し,クラウドソーシング作業者が7つの実験要因に与える影響を評価した。 このデータセットを基礎的真理として用いて、2つのタスク(直接予測とグラフのペアワイズ比較)で最先端MLLMの能力を評価した。 その結果,MLLMは個々のチャートを評価する際,人間の評価値ほど敏感ではないが,相互比較では正確で信頼性が高いことが示唆された。
  論文  参考訳（メタデータ） (2025-05-23T01:12:57Z)
• Fooling the LVLM Judges: Visual Biases in LVLM-Based Evaluation [14.521056434373213]
  大規模視覚言語モデル (LVLM) はテキスト画像のアライメントを判断するツールとして好まれている。 対人的視覚操作は、LVLM審査員が不当に膨らんだスコアを割り当てることを体系的に騙すことができるか? 敵対的な視覚操作は、LVLM審査員を体系的に騙して不当に膨らませたスコアを割り当てることができるか?
  論文  参考訳（メタデータ） (2025-05-21T08:24:28Z)
• Assessing Judging Bias in Large Reasoning Models: An Empirical Study [99.86300466350013]
  DeepSeek-R1やOpenAI-o1のような大きな推論モデル(LRM)は、顕著な推論能力を示している。 本稿では、主観的嗜好アライメントデータセットと客観的事実ベースデータセットの両方において、LLMとLRMの偏りを判定するベンチマークを示す。
  論文  参考訳（メタデータ） (2025-04-14T07:14:27Z)
• Video SimpleQA: Towards Factuality Evaluation in Large Video Language Models [69.68265487134686]
  Video SimpleQAは、LVLMの事実性評価に適した最初の総合的なベンチマークである。 私たちの研究は、以下の重要な機能を通じて、既存のビデオベンチマークと区別します。 答えは、簡潔なフォーマットで曖昧で決定的に正しいものとして作成されます。
  論文  参考訳（メタデータ） (2025-03-24T17:46:09Z)
• Judge as A Judge: Improving the Evaluation of Retrieval-Augmented Generation through the Judge-Consistency of Large Language Models [68.92020689188887]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) に対する幻覚を緩和する効果を証明している。 既存の自動評価メトリクスは、トレーニングと評価の間にRAGモデルによって生成されたアウトプットを正確に評価することはできない。 本稿では,RAGモデルのより正確な評価を実現するため,LCMの強化を目的とした判断一貫性(ConsJudge)手法を提案する。
  論文  参考訳（メタデータ） (2025-02-26T04:50:43Z)
• From Generation to Judgment: Opportunities and Challenges of LLM-as-a-judge [32.55871325700294]
  人工知能(AI)と自然言語処理(NLP)において、長い間、評価と評価が重要な課題であった。 大規模言語モデル(LLM)の最近の進歩は"LLM-as-a-judge"パラダイムを刺激している。
  論文  参考訳（メタデータ） (2024-11-25T17:28:44Z)
• AutoBench-V: Can Large Vision-Language Models Benchmark Themselves? [65.92331309449015]
  本稿では,モデル能力の特定の側面に基づいてLVLMをベンチマークする,オンデマンドで評価を行う自動フレームワークであるAutoBench-Vを紹介する。 5つの要求されたユーザ入力に対して9つの人気のあるLVLMを広範囲に評価することにより、このフレームワークの有効性と信頼性を示す。
  論文  参考訳（メタデータ） (2024-10-28T17:55:08Z)
• CompassJudger-1: All-in-one Judge Model Helps Model Evaluation and Evolution [74.41064280094064]
  textbfJudger-1は、最初のオープンソースのtextbfall-in-one judge LLMである。 CompassJudger-1は、優れた汎用性を示す汎用LLMである。 textbfJudgerBenchは、様々な主観評価タスクを含む新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-10-21T17:56:51Z)
• TALEC: Teach Your LLM to Evaluate in Specific Domain with In-house Criteria by Criteria Division and Zero-shot Plus Few-shot [2.186726107112913]
  本稿では,モデルに基づく評価手法 TALEC を提案する。 ユーザは自分の評価基準を柔軟に設定でき、インコンテキストラーニング(ICL)を使って審査員にこれらの評価基準を教えることができる。 TALECは人間の嗜好を正確に反映する強力な能力を示し、人間の判断と80%以上の相関を達成している。
  論文  参考訳（メタデータ） (2024-06-25T10:02:42Z)
• Evaluating the Factuality of Large Language Models using Large-Scale Knowledge Graphs [30.179703001666173]
  大規模言語モデル(LLM)にとって、ファクチュアリティの問題は重要な問題である 我々は,かなり大きなテストデータセットを用いて,LLMの性能を評価するためにGraphEvalを提案する。 テストデータセットは、高価な人的努力なしで1000万以上の事実を持つ大規模な知識グラフから取得される。
  論文  参考訳（メタデータ） (2024-04-01T06:01:17Z)
• LVLM-eHub: A Comprehensive Evaluation Benchmark for Large Vision-Language Models [55.304181390027274]
  本稿では,LVLM評価ハブ(LVLM-eHub)の構築により,一般公開された大規模マルチモーダルモデルの包括的評価を行う。 我々のLVLM-eHubは、InstructBLIPやMiniGPT-4などの代表的LVLMから成り、定量的能力評価とオンラインアリーナプラットフォームによって徹底的に評価されている。 この研究は、いくつかの革新的な発見を明らかにしている。まず、インストラクタBLIPのような膨大なドメイン内データを持つ命令調整型LVLMは、多くの既存のタスクを過度にオーバーフィットさせ、オープンワールドのシナリオでは一般化が不十分である。
  論文  参考訳（メタデータ） (2023-06-15T16:39:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。