論文の概要: Where is this coming from? Making groundedness count in the evaluation of Document VQA models

• arxiv url: http://arxiv.org/abs/2503.19120v1
• Date: Mon, 24 Mar 2025 20:14:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:52:20.686059
• Title: Where is this coming from? Making groundedness count in the evaluation of Document VQA models
• Title（参考訳）: これはどこから来たのか? 文書VQAモデルの評価における根拠数の作成
• Authors: Armineh Nourbakhsh, Siddharth Parekh, Pranav Shetty, Zhao Jin, Sameena Shah, Carolyn Rose,
• Abstract要約: 一般的な評価指標は、モデルの出力のセマンティックおよびマルチモーダルな基礎性を考慮しない。 本稿では,予測の基盤性を考慮した新しい評価手法を提案する。 提案手法は,ユーザが好みに応じてスコアを設定できるようにパラメータ化されている。
• 参考スコア（独自算出の注目度）: 12.951716701565019
• License:
• Abstract: Document Visual Question Answering (VQA) models have evolved at an impressive rate over the past few years, coming close to or matching human performance on some benchmarks. We argue that common evaluation metrics used by popular benchmarks do not account for the semantic and multimodal groundedness of a model's outputs. As a result, hallucinations and major semantic errors are treated the same way as well-grounded outputs, and the evaluation scores do not reflect the reasoning capabilities of the model. In response, we propose a new evaluation methodology that accounts for the groundedness of predictions with regard to the semantic characteristics of the output as well as the multimodal placement of the output within the input document. Our proposed methodology is parameterized in such a way that users can configure the score according to their preferences. We validate our scoring methodology using human judgment and show its potential impact on existing popular leaderboards. Through extensive analyses, we demonstrate that our proposed method produces scores that are a better indicator of a model's robustness and tends to give higher rewards to better-calibrated answers.
• Abstract（参考訳）: VQA(Document Visual Question Answering)モデルは、過去数年間で目覚ましい速度で進化し、いくつかのベンチマークで人のパフォーマンスに近く、あるいは一致している。 一般的なベンチマークで用いられる一般的な評価指標は、モデルの出力のセマンティックおよびマルチモーダルな基底性には考慮しない。 その結果、幻覚や主要な意味的誤りは、十分に評価された出力と同様に扱われ、評価スコアはモデルの推論能力を反映しない。 そこで本研究では,出力のセマンティック特性と,入力文書内の出力のマルチモーダル配置に関して,予測の基盤性を考慮に入れた新たな評価手法を提案する。 提案手法は,ユーザが好みに応じてスコアを設定できるようにパラメータ化されている。 評価手法を人的判断を用いて検証し、既存の人気リーダーボードにその潜在的影響を示す。 より広範な分析により,提案手法はモデルの頑健さの指標となるスコアを生成し,高い評価値を与える傾向にあることを示した。

関連論文リスト

• LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
  我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。 LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。 ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
  論文  参考訳（メタデータ） (2024-10-14T17:51:23Z)
• Backdoor-based Explainable AI Benchmark for High Fidelity Evaluation of Attribution Methods [49.62131719441252]
  属性法は入力特徴の重要度を計算し、深層モデルの出力予測を説明する。 本研究はまず,属性手法の信頼性ベンチマークが満たすであろう信頼度基準の集合を同定する。 次に、望ましい忠実度基準に準拠したBackdoorベースのeXplainable AIベンチマーク(BackX)を紹介します。
  論文  参考訳（メタデータ） (2024-05-02T13:48:37Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
  視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。 本稿では,基準自由度に欠陥があるかどうかを考察する。 GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-18T12:36:23Z)
• Don't Make Your LLM an Evaluation Benchmark Cheater [142.24553056600627]
  大規模言語モデル(LLM)は人工知能のフロンティアを大幅に進歩させ、モデルキャパシティを著しく向上させた。 モデル性能を評価するために, LLMの能力レベルを測定するための評価ベンチマークを構築するのが典型的な方法である。 評価ベンチマークを用いて不適切なリスクと影響について検討し,評価結果を誤って解釈する。
  論文  参考訳（メタデータ） (2023-11-03T14:59:54Z)
• Evaluating the Evaluators: Are Current Few-Shot Learning Benchmarks Fit for Purpose? [11.451691772914055]
  本稿では,タスクレベル評価に関する最初の研究について述べる。 数ショット設定における性能推定器の精度を測定した。 評価者の失敗の理由を, 多くの場合, 頑健であると考えられる理由について検討する。
  論文  参考訳（メタデータ） (2023-07-06T02:31:38Z)
• Evaluating Representations with Readout Model Switching [19.907607374144167]
  本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。 我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。 提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
  論文  参考訳（メタデータ） (2023-02-19T14:08:01Z)
• Exploring validation metrics for offline model-based optimisation with diffusion models [50.404829846182764]
  モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。 モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。 本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
  論文  参考訳（メタデータ） (2022-11-19T16:57:37Z)
• A Study on the Evaluation of Generative Models [19.18642459565609]
  潜在的生成モデルは、確率値を返さないが、近年は普及している。 本研究では,高品質な合成データセットの生成による生成モデルの評価指標について検討する。 FIDとISはいくつかのf-divergensと相関するが、クローズドモデルのランクは様々である。
  論文  参考訳（メタデータ） (2022-06-22T09:27:31Z)
• Who Explains the Explanation? Quantitatively Assessing Feature Attribution Methods [0.0]
  本稿では,説明の忠実度を定量化するための新しい評価指標であるフォーカス(Focus)を提案する。 ランダム化実験によって測定値のロバスト性を示し、次にFocusを用いて3つの一般的な説明可能性手法を評価し比較する。 実験の結果,LRPとGradCAMは一貫性があり信頼性が高いことがわかった。
  論文  参考訳（メタデータ） (2021-09-28T07:10:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。