論文の概要: VL-Uncertainty: Detecting Hallucination in Large Vision-Language Model via Uncertainty Estimation
- arxiv url: http://arxiv.org/abs/2411.11919v1
- Date: Mon, 18 Nov 2024 04:06:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-20 13:36:53.128997
- Title: VL-Uncertainty: Detecting Hallucination in Large Vision-Language Model via Uncertainty Estimation
- Title(参考訳): VL不確かさ:不確かさ推定による大規模視線モデルにおける幻覚の検出
- Authors: Ruiyang Zhang, Hu Zhang, Zhedong Zheng,
- Abstract要約: 本稿では,大規模な視覚言語モデルにおける幻覚を検出するための,最初の不確実性に基づくフレームワークであるVL-Uncertaintyを紹介する。
意味論的に等価だが摂動的プロンプト間の予測分散を分析して不確実性を測定する。
LVLMは信頼性が高く、意味論的に等価なクエリに対して一貫した応答を提供する。
しかし、不確実な場合には、目標LVLMの応答はよりランダムになる。
- 参考スコア(独自算出の注目度): 18.873512856021357
- License:
- Abstract: Given the higher information load processed by large vision-language models (LVLMs) compared to single-modal LLMs, detecting LVLM hallucinations requires more human and time expense, and thus rise a wider safety concerns. In this paper, we introduce VL-Uncertainty, the first uncertainty-based framework for detecting hallucinations in LVLMs. Different from most existing methods that require ground-truth or pseudo annotations, VL-Uncertainty utilizes uncertainty as an intrinsic metric. We measure uncertainty by analyzing the prediction variance across semantically equivalent but perturbed prompts, including visual and textual data. When LVLMs are highly confident, they provide consistent responses to semantically equivalent queries. However, when uncertain, the responses of the target LVLM become more random. Considering semantically similar answers with different wordings, we cluster LVLM responses based on their semantic content and then calculate the cluster distribution entropy as the uncertainty measure to detect hallucination. Our extensive experiments on 10 LVLMs across four benchmarks, covering both free-form and multi-choice tasks, show that VL-Uncertainty significantly outperforms strong baseline methods in hallucination detection.
- Abstract(参考訳): 大規模視覚言語モデル(LVLM)で処理される情報負荷が単一モードのLLMよりも高いことを考えると、LVLMの幻覚を検出するには人的・時間的費用がかかるため、より広範な安全上の懸念が生じる。
本稿では,LVLMにおける幻覚を検出するための最初の不確実性に基づくフレームワークであるVL-Uncertaintyを紹介する。
基底真実や疑似アノテーションを必要とする既存の方法とは異なり、VL-不確実性は本質的な計量として不確実性を利用する。
視覚的・テキスト的データを含む意味論的に等価だが摂動的なプロンプト間の予測分散を分析して不確実性を測定する。
LVLMは信頼性が高く、意味的に等価なクエリに対して一貫した応答を提供する。
しかし、不確実な場合、目標LVLMの応答はよりランダムになる。
意味的類似の回答を異なる単語で考えると,LVLM応答は意味的内容に基づいてクラスタ化され,不確実性尺度としてクラスタ分布エントロピーが計算され,幻覚を検出する。
VL-不確実性は幻覚検出において強いベースライン法を著しく上回ることを示す。
関連論文リスト
- LLM Internal States Reveal Hallucination Risk Faced With a Query [62.29558761326031]
人間は、クエリに直面したとき、私たちが知らないことを認識できる自己認識プロセスを持っています。
本稿では,大規模言語モデルが応答生成に先立って,自身の幻覚リスクを推定できるかどうかを検討する。
確率推定器により, LLM自己評価を利用して, 平均幻覚推定精度84.32%を達成する。
論文 参考訳(メタデータ) (2024-07-03T17:08:52Z) - Semantically Diverse Language Generation for Uncertainty Estimation in Language Models [5.8034373350518775]
大規模言語モデル(LLM)は、テキストを生成する際に幻覚に悩まされることがある。
現在のLLMは、テキストトークンを予測および付加することにより、自動回帰形式でテキストを生成する。
LLMの予測不確かさを定量化するために,Semantically Diverse Language Generationを導入する。
論文 参考訳(メタデータ) (2024-06-06T17:53:34Z) - To Believe or Not to Believe Your LLM [51.2579827761899]
大規模言語モデル(LLM)における不確実性定量化について検討する。
疫学的な不確実性が大きい場合にのみ確実に検出できる情報理論の指標を導出する。
定式化の利点を実証する一連の実験を行う。
論文 参考訳(メタデータ) (2024-06-04T17:58:18Z) - Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities [79.9629927171974]
大規模言語モデル(LLM)の不確実性は、安全性と信頼性が重要であるアプリケーションには不可欠である。
ホワイトボックスとブラックボックス LLM における不確実性評価手法である Kernel Language Entropy (KLE) を提案する。
論文 参考訳(メタデータ) (2024-05-30T12:42:05Z) - Semantic Density: Uncertainty Quantification for Large Language Models through Confidence Measurement in Semantic Space [14.715989394285238]
既存のLarge Language Models (LLM) には、ユーザが生成するレスポンスごとに不確実性/信頼度を計測するための固有の機能がない。
本稿では,これらの課題に対処する新しい枠組みを提案する。
意味密度は、意味空間における確率分布の観点から各応答の不確かさ/自信情報を抽出する。
論文 参考訳(メタデータ) (2024-05-22T17:13:49Z) - Uncertainty-Based Abstention in LLMs Improves Safety and Reduces Hallucinations [63.330182403615886]
大きな言語モデル(LLM)の実践的デプロイに対する大きな障壁は、信頼性の欠如である。
このことが特に顕著な3つの状況は、正しさ、未解決の質問に対する幻覚、安全性である。
人間のように、不確実性を理解する能力があるため、私たちが知らない質問への答えを控えるべきです。
論文 参考訳(メタデータ) (2024-04-16T23:56:38Z) - Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。
両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。
提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
論文 参考訳(メタデータ) (2024-02-15T18:46:24Z) - INSIDE: LLMs' Internal States Retain the Power of Hallucination Detection [39.52923659121416]
本稿では,textbfinternal textbfStates内に保持される密接な意味情報について,HoluctextbfInation textbfDEtectionについて検討する。
応答の自己整合性をよりよく評価するために、単純で効果的な textbfEigenScore メトリクスが提案されている。
内部状態における極端なアクティベーションを阻害するために,テスト時間特徴クリッピング手法を提案する。
論文 参考訳(メタデータ) (2024-02-06T06:23:12Z) - Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。
LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。
LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
論文 参考訳(メタデータ) (2023-11-22T08:39:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。