論文の概要: Towards Statistical Factuality Guarantee for Large Vision-Language Models
- arxiv url: http://arxiv.org/abs/2502.20560v1
- Date: Thu, 27 Feb 2025 22:01:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-03 13:44:17.857257
- Title: Towards Statistical Factuality Guarantee for Large Vision-Language Models
- Title（参考訳）: 大規模視線モデルのための統計的ファクチュアリティ保証に向けて
- Authors: Zhuohang Li, Chao Yan, Nicholas J. Jackson, Wendi Cui, Bo Li, Jiaxin Zhang, Bradley A. Malin,
- Abstract要約: LVLM出力の事実性に関する有限サンプル分布自由統計保証を実現するためのフレームワークを提案する。
ConfLVLMは、シーン記述においてLLaVa-1.5が生成したクレームの誤り率を87.8%から10.0%に下げ、95.3%の真の正のクレームをフィルタリングする。
さらに, ConfLVLMは高い柔軟性を示し, 画像条件付き自由形式のテキスト生成タスクに対して, 不確実性を考慮した任意のブラックボックスLVLMに適用可能であることを示した。
- 参考スコア（独自算出の注目度）: 15.51028935811803
- License:
- Abstract: Advancements in Large Vision-Language Models (LVLMs) have demonstrated promising performance in a variety of vision-language tasks involving image-conditioned free-form text generation. However, growing concerns about hallucinations in LVLMs, where the generated text is inconsistent with the visual context, are becoming a major impediment to deploying these models in applications that demand guaranteed reliability. In this paper, we introduce a framework to address this challenge, ConfLVLM, which is grounded on conformal prediction to achieve finite-sample distribution-free statistical guarantees on the factuality of LVLM output. This framework treats an LVLM as a hypothesis generator, where each generated text detail (or claim) is considered an individual hypothesis. It then applies a statistical hypothesis testing procedure to verify each claim using efficient heuristic uncertainty measures to filter out unreliable claims before returning any responses to users. We conduct extensive experiments covering three representative application domains, including general scene understanding, medical radiology report generation, and document understanding. Remarkably, ConfLVLM reduces the error rate of claims generated by LLaVa-1.5 for scene descriptions from 87.8\% to 10.0\% by filtering out erroneous claims with a 95.3\% true positive rate. Our results further demonstrate that ConfLVLM is highly flexible, and can be applied to any black-box LVLMs paired with any uncertainty measure for any image-conditioned free-form text generation task while providing a rigorous guarantee on controlling the risk of hallucination.
- Abstract（参考訳）: LVLM(Large Vision-Language Models)の進歩は、画像条件付き自由形式のテキスト生成を含む様々な視覚言語タスクにおいて有望な性能を示す。
しかし、生成したテキストが視覚的コンテキストと矛盾しないLVLMにおける幻覚への懸念が高まっており、信頼性を要求されるアプリケーションにこれらのモデルをデプロイする上で大きな障害となっている。
本稿では,この課題に対処するフレームワークであるConfLVLMを紹介し,LVLM出力の事実性に基づく有限サンプル分布自由統計保証を実現するための整合予測に基づく。
このフレームワークは、LVLMを仮説生成器として扱い、各生成されたテキストの詳細(またはクレーム)が個別の仮説とみなされる。
次に、統計的仮説テスト手順を適用して、効率的なヒューリスティックな不確実性対策を使用して各クレームを検証し、信頼できないクレームをフィルタリングし、ユーザに応答を返す。
一般的なシーン理解,医用放射線診断レポート生成,文書理解など,3つの代表的なアプリケーション領域を対象とした広範な実験を行った。
ConfLVLMは、シーン記述においてLLaVa-1.5が生成したクレームの誤り率を87.8\%から10.0\%に下げ、95.3\%の正のクレームをフィルタリングする。
さらに, ConfLVLMは高い柔軟性を示し, 幻覚のリスクを抑えるための厳密な保証を提供しながら, 画像条件付き自由形テキスト生成タスクに対して不確実性を考慮した任意のブラックボックスLVLMに適用可能であることを示した。
関連論文リスト
- VL-Uncertainty: Detecting Hallucination in Large Vision-Language Model via Uncertainty Estimation [18.873512856021357]
本稿では,大規模な視覚言語モデルにおける幻覚を検出するための,最初の不確実性に基づくフレームワークであるVL-Uncertaintyを紹介する。
意味論的に等価だが摂動的プロンプト間の予測分散を分析して不確実性を測定する。
LVLMは信頼性が高く、意味論的に等価なクエリに対して一貫した応答を提供する。
しかし、不確実な場合には、目標LVLMの応答はよりランダムになる。
論文 参考訳（メタデータ） (2024-11-18T04:06:04Z) - FactTest: Factuality Testing in Large Language Models with Finite-Sample and Distribution-Free Guarantees [41.78390564658645]
幻覚や非現実的コンテンツを生成するための大規模言語モデル(LLM)は、高い領域での信頼性を損なう。
FactTest は LLM が与えられた質問に対する正しい回答を確実に提供できるかどうかを統計的に評価する新しいフレームワークである。
本研究では,FactTestが幻覚を効果的に検出し,未知の疑問に答えることを禁じるモデルの能力を向上させることにより,40%以上の精度向上を実現していることを示す。
論文 参考訳（メタデータ） (2024-11-04T20:53:04Z) - Semantic Density: Uncertainty Quantification for Large Language Models through Confidence Measurement in Semantic Space [14.715989394285238]
既存のLarge Language Models (LLM) には、ユーザが生成するレスポンスごとに不確実性/信頼度を計測するための固有の機能がない。
本稿では,これらの課題に対処する新しい枠組みを提案する。
意味密度は、意味空間における確率分布の観点から各応答の不確かさ/自信情報を抽出する。
論文 参考訳（メタデータ） (2024-05-22T17:13:49Z) - Detecting Multimodal Situations with Insufficient Context and Abstaining from Baseless Predictions [75.45274978665684]
VLU(Vision-Language Understanding)ベンチマークには、提供されたコンテキストによってサポートされない仮定に答えが依存するサンプルが含まれている。
サンプル毎にコンテキストデータを収集し,エビデンスに基づくモデル予測を促進するためにコンテキスト選択モジュールをトレーニングする。
我々は,十分なコンテキストを欠いたサンプルを同定し,モデル精度を向上させる汎用なコンテキスト・アワレ認識検出器を開発した。
論文 参考訳（メタデータ） (2024-05-18T02:21:32Z) - Debiasing Multimodal Large Language Models [61.6896704217147]
LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。
本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。
これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
論文 参考訳（メタデータ） (2024-03-08T12:35:07Z) - Fact-Checking the Output of Large Language Models via Token-Level Uncertainty Quantification [116.77055746066375]
大型言語モデル(LLM)は幻覚、すなわちその出力に誤った主張を生じさせることで有名である。
本稿では,トークンレベルの不確実性定量化に基づくファクトチェックと幻覚検出パイプラインを提案する。
論文 参考訳（メタデータ） (2024-03-07T17:44:17Z) - IBD: Alleviating Hallucinations in Large Vision-Language Models via
Image-Biased Decoding [37.16880672402059]
言語的先行性への過度な依存は幻覚に繋がる重要な要因として認識されている。
本稿では,新しい画像バイアスデコーディング手法を導入することにより,この問題を軽減することを提案する。
提案手法は,従来のLVLMと画像バイアスLVLMの予測を対比することにより,次の確率分布を導出する。
論文 参考訳（メタデータ） (2024-02-28T16:57:22Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳（メタデータ） (2023-11-15T05:58:35Z) - ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。
本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。
我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文 参考訳（メタデータ） (2023-10-19T06:37:32Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳（メタデータ） (2023-09-27T14:44:10Z) - Generating with Confidence: Uncertainty Quantification for Black-box Large Language Models [37.63939774027709]
自然言語生成(NLG)に特化した大規模言語モデル(LLM)が,最近,有望な機能を示すようになった。
我々は、信頼できない結果が無視されるか、さらなる評価のために得られるような、選択的なNLG*に適用し、いくつかの信頼/不確実性対策を提案し、比較する。
その結果, セマンティックな分散の簡易な測定は, LLM応答の質の信頼性を予測できることがわかった。
論文 参考訳（メタデータ） (2023-05-30T16:31:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。