論文の概要: Detecting and Preventing Hallucinations in Large Vision Language Models
- arxiv url: http://arxiv.org/abs/2308.06394v1
- Date: Fri, 11 Aug 2023 21:35:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 17:31:55.253113
- Title: Detecting and Preventing Hallucinations in Large Vision Language Models
- Title（参考訳）: 大規模視覚言語モデルにおける幻覚の検出と防止
- Authors: Anisha Gunjal, Jihan Yin, Erhan Bas
- Abstract要約: 現在のLVLM(Large Vision Language Models)には、幻覚テキストの30%が存在しないオブジェクト、不信な記述、不正確な関係の形で含まれている。
M-HalDetectは、幻覚検出と予防のためのモデルのトレーニングとベンチマークに使用できるデータセットである。
M-HalDetectはVQAの例で16kのきめ細かいラベルで構成されており、最初の総合的なマルチモーダル幻覚検出データセットとなっている。
- 参考スコア（独自算出の注目度）: 4.7264116948935975
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Instruction tuned Large Vision Language Models (LVLMs) have made significant
advancements in generalizing across a diverse set of multimodal tasks,
especially for Visual Question Answering (VQA). However, generating detailed
responses that are visually grounded is still a challenging task for these
models. We find that even the current state-of-the-art LVLMs (InstructBLIP)
still contain a staggering 30 percent of hallucinatory text in the form of
non-existent objects, unfaithful descriptions, and inaccurate relationships. To
address this, we introduce M-HalDetect, a {M}ultimodal {Hal}lucination
{Detect}ion Dataset that can be used to train and benchmark models for
hallucination detection and prevention. M-HalDetect consists of 16k
fine-grained labels on VQA examples, making it the first comprehensive
multi-modal hallucination detection dataset for detailed image descriptions.
Unlike previous work that only consider object hallucination, we additionally
annotate both entity descriptions and relationships that are unfaithful. To
demonstrate the potential of this dataset for preference alignment, we propose
fine-grained Direct Preference Optimization, as well as train fine-grained
multi-modal reward models and evaluate their effectiveness with best-of-n
rejection sampling. We perform human evaluation on both DPO and rejection
sampling, and find that they reduce hallucination rates by 41% and 55%
respectively, a significant improvement over the baseline.
- Abstract（参考訳）: LVLM(Large Vision Language Models)は、様々なマルチモーダルタスク、特にVQA(Visual Question Answering)における一般化において大きな進歩を遂げている。
しかし、視覚的に接地された詳細な応答を生成することは、これらのモデルにとって依然として難しい課題である。
現在最先端のLVLM(InstructBLIP)でさえも、存在しないオブジェクト、不信な記述、不正確な関係という形で、幻覚文の30%が停滞している。
そこで本研究では,幻覚検出と予防のためのモデルの構築とベンチマークに使用可能なM-HalDetect, {M}ultimodal {Hal}lucination {Detect}ion Datasetを紹介する。
M-HalDetectは、VQA例の16kのきめ細かいラベルで構成されており、詳細な画像記述のための最初の総合的なマルチモーダル幻覚検出データセットである。
オブジェクト幻覚のみを考える以前の作業とは異なり、エンティティ記述と不適切な関係の両方に注釈を付けます。
このデータセットの選好アライメントの可能性を示すために,粒度直接選好最適化を提案するとともに,粒度多モーダル報奨モデルを訓練し,ベスト・オブ・n・リジェクションサンプリングの有効性を評価する。
dpo標本と拒絶標本の両方について人為的評価を行い,それぞれ41%,55%の幻覚率を低下させ,基準値よりも有意に改善した。
関連論文リスト
- Reefknot: A Comprehensive Benchmark for Relation Hallucination Evaluation, Analysis and Mitigation in Multimodal Large Language Models [13.48296910438554]
我々は2万以上の実世界のサンプルからなる関係幻覚を対象とする総合的なベンチマークであるReefknotを紹介した。
関係幻覚を体系的に定義し、知覚的視点と認知的視点を統合するとともに、Visual Genomeのシーングラフデータセットを用いて関係ベースのコーパスを構築する。
本稿では,Reefknotを含む3つのデータセットに対して,幻覚率を平均9.75%削減する信頼性に基づく新たな緩和戦略を提案する。
論文 参考訳（メタデータ） (2024-08-18T10:07:02Z) - ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models [65.12177400764506]
大規模言語モデル (LLM) は、様々な領域や広範囲のアプリケーションにまたがる、長い形式の質問応答タスクにおいて幻覚を示す。
現在の幻覚検出と緩和データセットはドメインやサイズによって制限されている。
本稿では,幻覚アノテーションデータセットを同時に,段階的にスケールアップする反復的自己学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-05T17:56:38Z) - Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [40.930238150365795]
我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。
プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。
そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
論文 参考訳（メタデータ） (2024-04-22T14:46:10Z) - VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。
既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。
対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
論文 参考訳（メタデータ） (2024-04-22T04:49:22Z) - Prescribing the Right Remedy: Mitigating Hallucinations in Large Vision-Language Models via Targeted Instruction Tuning [15.156359255401812]
そこで本研究では,異なるモデルの幻覚特異性に合わせたDFTGという命令データ生成フレームワークを提案する。
幻覚ベンチマークによる実験結果から,本手法で生成した目標命令データの方が,従来よりも幻覚の緩和に有効であることが示唆された。
論文 参考訳（メタデータ） (2024-04-16T07:14:32Z) - Multi-Modal Hallucination Control by Visual Information Grounding [121.6983694815504]
本稿では,VLM(Generative Vision-Language Models)が,入力画像に常に接するとは限らない,可聴性のあるテキスト応答を生成する傾向があることを示す。
即時増幅のための新しいサンプリング手法であるM3ID(Multi-Modal Mutual-Information Decoding)を導入する。
M3IDは、言語に対する参照画像の影響を増幅し、視覚的プロンプトと高い相互情報を持つトークンの生成を優先する。
論文 参考訳（メタデータ） (2024-03-20T22:05:18Z) - Aligning Modalities in Vision Large Language Models via Preference
Fine-tuning [67.62925151837675]
本研究では,幻覚の問題をアライメント問題とみなし,好みのチューニングで対処する。
具体的には,AIモデルを用いたフィードバックデータを生成するPOVIDを提案する。
提案手法は,好ましくないデータを生成するための2段階のアプローチである。
広範ベンチマークを用いた実験では、幻覚を減らすだけでなく、標準ベンチマークでのモデル性能を向上させることができ、従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2024-02-18T00:56:16Z) - Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。
我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。
本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
論文 参考訳（メタデータ） (2024-01-12T19:02:48Z) - Mitigating Hallucination in Visual Language Models with Visual
Supervision [33.05550629039951]
大きな視覚言語モデル(LVLM)は幻覚に悩まされている。
鍵となる問題は、マルチモーダルなコンテキストで詳細なコンテンツを理解できないことだ。
本稿では,LVLMのトレーニングを容易にするために,より詳細な視覚アノテーションとより識別可能な視覚モデルを提案する。
論文 参考訳（メタデータ） (2023-11-27T09:30:02Z) - AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。
また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文 参考訳（メタデータ） (2023-09-30T05:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。