論文の概要: Evaluating the Quality of Hallucination Benchmarks for Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2406.17115v2
• Date: Wed, 09 Oct 2024 10:43:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:29:36.812858
• Title: Evaluating the Quality of Hallucination Benchmarks for Large Vision-Language Models
• Title（参考訳）: 大規模視覚言語モデルのための幻覚ベンチマークの品質評価
• Authors: Bei Yan, Jie Zhang, Zheng Yuan, Shiguang Shan, Xilin Chen,
• Abstract要約: LVLM(Large Vision-Language Models)は幻覚に悩まされている。 以前の研究では、さまざまなタイプのタスクと評価指標を特徴とする一連のベンチマークが提案されている。 本稿では,既存の幻覚ベンチマークの信頼性と妥当性を評価するために,幻覚ベンチマーク品質測定フレームワーク(HQM)を提案する。
• 参考スコア（独自算出の注目度）: 67.89204055004028
• License:
• Abstract: Despite the rapid progress and outstanding performance of Large Vision-Language Models (LVLMs) in recent years, LVLMs have been plagued by the issue of hallucination, i.e., LVLMs tend to generate responses that are inconsistent with the corresponding visual inputs. To evaluate the degree of hallucination in LVLMs, previous works have proposed a series of benchmarks featuring different types of tasks and evaluation metrics. However, we find that the quality of the existing hallucination benchmarks varies, with some suffering from problems, e.g., inconsistent evaluation results under repeated tests, and misalignment with human evaluation. To this end, we propose a Hallucination benchmark Quality Measurement framework (HQM), which leverages various indicators to assess the reliability and validity of existing hallucination benchmarks separately. Specifically, for reliability we explore test-retest reliability and parallel-forms reliability, while for validity we examine criterion validity and coverage of hallucination types. Furthermore, based on the results of our quality measurement, we construct a High-Quality Hallucination Benchmark (HQH) for LVLMs, which demonstrates superior reliability and validity under our HQM framework. We conduct an extensive evaluation of over 10 representative LVLMs, including GPT-4o and Gemini-1.5-Pro, to provide an in-depth analysis of the hallucination issues in existing models. Our benchmark is publicly available at https://github.com/HQHBench/HQHBench.
• Abstract（参考訳）: 近年のLVLM(Large Vision-Language Models)の急速な進歩と卓越した性能にもかかわらず、LVLMは幻覚の問題に悩まされている。 LVLMにおける幻覚の程度を評価するため、以前の研究では様々な種類のタスクと評価指標を特徴とする一連のベンチマークが提案されている。 しかし,既存の幻覚ベンチマークの質は,例えば,繰り返しテストによる不整合評価結果,人的評価との相違といった問題に悩まされている。 この目的のために,既存の幻覚ベンチマークの信頼性と妥当性を個別に評価するために,様々な指標を活用する幻覚ベンチマーク品質測定フレームワーク(HQM)を提案する。 具体的には、信頼性について、テスト再テストの信頼性と並列形式の信頼性について検討し、妥当性については、幻覚型の基準妥当性とカバレッジについて検討する。 さらに, 品質測定の結果をもとに, LVLM のための高品質幻覚ベンチマーク (HQH) を構築し, HQM フレームワークの信頼性と妥当性を向上する。 GPT-4oやGemini-1.5-Proを含む10以上の代表的なLVLMを広範囲に評価し、既存のモデルにおける幻覚の問題を詳細に分析する。 私たちのベンチマークはhttps://github.com/HQHBench/HQHBench.comで公開されています。

関連論文リスト

• VHELM: A Holistic Evaluation of Vision Language Models [75.88987277686914]
  視覚言語モデル(VHELM)の全体的評価について述べる。 VHELMは、視覚的知覚、知識、推論、バイアス、公平性、多言語性、堅牢性、毒性、安全性の9つの側面の1つ以上をカバーするために、さまざまなデータセットを集約する。 私たちのフレームワークは軽量で自動で、評価の実行が安価で高速に行えるように設計されています。
  論文  参考訳（メタデータ） (2024-10-09T17:46:34Z)
• Detecting and Evaluating Medical Hallucinations in Large Vision Language Models [22.30139330566514]
  大規模ビジョン言語モデル(LVLM)は、医療アプリケーションにとってますます不可欠なものになっている。 LVLMは幻覚への感受性を継承する。 幻覚検出と評価に特化して設計された最初のベンチマークであるMed-HallMarkを紹介する。 また,正確な幻覚検出のための医療用LVLMであるMedHallDetectorも紹介した。
  論文  参考訳（メタデータ） (2024-06-14T17:14:22Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• HypoTermQA: Hypothetical Terms Dataset for Benchmarking Hallucination Tendency of LLMs [0.0]
  幻覚は、大規模言語モデル(LLM)の信頼性と整合性に重大な課題をもたらす 本稿では,LLMの幻覚傾向のベンチマークと効率的な幻覚検出を組み合わせた,スケーラブルな自動フレームワークを提案する。 フレームワークはドメインに依存しないため、任意のドメインでのベンチマーク作成や評価に任意の言語モデルを使用することができる。
  論文  参考訳（メタデータ） (2024-02-25T22:23:37Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)
• AMBER: An LLM-free Multi-dimensional Benchmark for MLLMs Hallucination Evaluation [58.19101663976327]
  マルチモーダル大規模言語モデル(MLLM)は幻覚の重要な課題に直面する。 MLLMの幻覚を評価することは、モデルの改善と実践的なアプリケーション展開においてますます重要になっている。 生成タスクと識別タスクの両方を評価するために, LLMフリーな多次元ベンチマークAMBERを提案する。
  論文  参考訳（メタデータ） (2023-11-13T15:25:42Z)
• Don't Make Your LLM an Evaluation Benchmark Cheater [142.24553056600627]
  大規模言語モデル(LLM)は人工知能のフロンティアを大幅に進歩させ、モデルキャパシティを著しく向上させた。 モデル性能を評価するために, LLMの能力レベルを測定するための評価ベンチマークを構築するのが典型的な方法である。 評価ベンチマークを用いて不適切なリスクと影響について検討し,評価結果を誤って解釈する。
  論文  参考訳（メタデータ） (2023-11-03T14:59:54Z)
• Chainpoll: A high efficacy method for LLM hallucination detection [0.0]
  そこで我々はChainPollという幻覚検出手法を紹介した。 我々はまた、最近の研究から幻覚検出指標を評価するためのベンチマークデータセットの洗練されたコレクションであるRealHallも公開した。
  論文  参考訳（メタデータ） (2023-10-22T14:45:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。