Fugu-MT 論文翻訳(概要): Evaluating the Quality of Hallucination Benchmarks for Large Vision-Language Models

論文の概要: Evaluating the Quality of Hallucination Benchmarks for Large Vision-Language Models

arxiv url: http://arxiv.org/abs/2406.17115v1
Date: Mon, 24 Jun 2024 20:08:07 GMT
ステータス: 処理完了
システム内更新日: 2024-06-26 18:21:22.741787
Title: Evaluating the Quality of Hallucination Benchmarks for Large Vision-Language Models
Title（参考訳）: 大規模視覚言語モデルのための幻覚ベンチマークの品質評価
Authors: Bei Yan, Jie Zhang, Zheng Yuan, Shiguang Shan, Xilin Chen,
Abstract要約: 本稿では,既存の幻覚ベンチマークの信頼性と妥当性を評価するために,幻覚ベンチマーク品質測定フレームワーク(HQM)を提案する。 GPT-4oやGemini-Vision-Proを含む10以上の代表的なLVLMを広範囲に評価し、既存のモデルにおける幻覚の問題を詳細に分析する。
参考スコア（独自算出の注目度）: 67.89204055004028
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Despite the rapid progress and outstanding performance of Large Vision-Language Models (LVLMs) in recent years, LVLMs have been plagued by the issue of hallucination, i.e., LVLMs tend to generate responses that are inconsistent with the corresponding visual inputs. To evaluate the degree of hallucination in LVLMs, previous works have proposed a series of benchmarks featuring different types of tasks and evaluation metrics. However, we find that the quality of the existing hallucination benchmarks varies, with some suffering from problems, e.g., inconsistent evaluation results under repeated tests, and misalignment with human evaluation. To this end, we propose a Hallucination benchmark Quality Measurement framework (HQM), which leverages various indicators to assess the reliability and validity of existing hallucination benchmarks separately. Specifically, for reliability we explore test-retest reliability and parallel-forms reliability, while for validity we examine criterion validity and coverage of hallucination types. Furthermore, based on the results of our quality measurement, we construct a High-Quality Hallucination Benchmark (HQH) for LVLMs. We conduct an extensive evaluation of over 10 representative LVLMs, including GPT-4o and Gemini-Vision-Pro, to provide an in-depth analysis of the hallucination issues in existing models. Our benchmark is publicly available at https://github.com/HQHBench/HQHBench.
Abstract（参考訳）: 近年のLVLM(Large Vision-Language Models)の急速な進歩と卓越した性能にもかかわらず、LVLMは幻覚の問題に悩まされている。 LVLMにおける幻覚の程度を評価するため、以前の研究では様々な種類のタスクと評価指標を特徴とする一連のベンチマークが提案されている。しかし,既存の幻覚ベンチマークの質は,例えば,繰り返しテストによる不整合評価結果,人的評価との相違といった問題に悩まされている。この目的のために,既存の幻覚ベンチマークの信頼性と妥当性を個別に評価するために,様々な指標を活用する幻覚ベンチマーク品質測定フレームワーク(HQM)を提案する。具体的には、信頼性について、テスト再テストの信頼性と並列形式の信頼性について検討し、妥当性については、幻覚型の基準妥当性とカバレッジについて検討する。さらに, 品質測定の結果をもとに, LVLMのための高品質幻覚ベンチマーク(HQH)を構築した。 GPT-4oやGemini-Vision-Proを含む10以上の代表的なLVLMを広範囲に評価し、既存のモデルにおける幻覚の問題を詳細に分析する。私たちのベンチマークはhttps://github.com/HQHBench/HQHBench.comで公開されています。

関連論文リスト

Detecting and Evaluating Medical Hallucinations in Large Vision Language Models [22.30139330566514]
大規模ビジョン言語モデル(LVLM)は、医療アプリケーションにとってますます不可欠なものになっている。 LVLMは幻覚への感受性を継承する。幻覚検出と評価に特化して設計された最初のベンチマークであるMed-HallMarkを紹介する。また,正確な幻覚検出のための医療用LVLMであるMedHallDetectorも紹介した。
論文参考訳（メタデータ） (2024-06-14T17:14:22Z)
HalluDial: A Large-Scale Benchmark for Automatic Dialogue-Level Hallucination Evaluation [19.318217051269382]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野で大きく進歩した。 HalluDialは、対話レベルの幻覚自動評価のための、初めての総合的な大規模ベンチマークである。ベンチマークには4,094の対話があり、合計146,856のサンプルが含まれている。
論文参考訳（メタデータ） (2024-06-11T08:56:18Z)
VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
論文参考訳（メタデータ） (2024-04-22T04:49:22Z)
HypoTermQA: Hypothetical Terms Dataset for Benchmarking Hallucination Tendency of LLMs [0.0]
幻覚は、大規模言語モデル(LLM)の信頼性と整合性に重大な課題をもたらす本稿では,LLMの幻覚傾向のベンチマークと効率的な幻覚検出を組み合わせた,スケーラブルな自動フレームワークを提案する。フレームワークはドメインに依存しないため、任意のドメインでのベンチマーク作成や評価に任意の言語モデルを使用することができる。
論文参考訳（メタデータ） (2024-02-25T22:23:37Z)
Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
論文参考訳（メタデータ） (2023-11-22T08:39:17Z)
AMBER: An LLM-free Multi-dimensional Benchmark for MLLMs Hallucination Evaluation [58.19101663976327]
マルチモーダル大規模言語モデル(MLLM)は幻覚の重要な課題に直面する。 MLLMの幻覚を評価することは、モデルの改善と実践的なアプリケーション展開においてますます重要になっている。生成タスクと識別タスクの両方を評価するために, LLMフリーな多次元ベンチマークAMBERを提案する。
論文参考訳（メタデータ） (2023-11-13T15:25:42Z)
Don't Make Your LLM an Evaluation Benchmark Cheater [142.24553056600627]
大規模言語モデル(LLM)は人工知能のフロンティアを大幅に進歩させ、モデルキャパシティを著しく向上させた。モデル性能を評価するために, LLMの能力レベルを測定するための評価ベンチマークを構築するのが典型的な方法である。評価ベンチマークを用いて不適切なリスクと影響について検討し,評価結果を誤って解釈する。
論文参考訳（メタデータ） (2023-11-03T14:59:54Z)
Evaluation and Analysis of Hallucination in Large Vision-Language Models [49.19829480199372]
LVLM(Large Vision-Language Models)は近年大きな成功を収めている。 LVLMは今でも幻覚に悩まされている。幻覚とは、視覚入力に存在しないLVLMの応答の情報を指す。
論文参考訳（メタデータ） (2023-08-29T08:51:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。