論文の概要: PhD: A Prompted Visual Hallucination Evaluation Dataset

• arxiv url: http://arxiv.org/abs/2403.11116v1
• Date: Sun, 17 Mar 2024 06:53:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 18:35:30.754322
• Title: PhD: A Prompted Visual Hallucination Evaluation Dataset
• Title（参考訳）: PhD: 視覚幻覚評価データセット
• Authors: Jiazhen Liu, Yuhan Fu, Ruobing Xie, Runquan Xie, Xingwu Sun, Fengzong Lian, Zhanhui Kang, Xirong Li,
• Abstract要約: 内因性視覚・言語幻覚(IVL-Hallu)問題について検討し,IVL-Halluの病因と反射について,多種多様なIVL-Halluを徹底的に分析した。 具体的には、新しいIVL-ハルル課題を提案し、(a)オブジェクト幻覚、(b)属性幻覚、(c)マルチモーダルコンフリクト幻覚、(d)対コモンセンス幻覚の4つのタイプに分類する。 そこで本研究では,IVL-Hallu の評価と探索を行うため,PhD というより難しいベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 23.49107734068849
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid growth of Large Language Models (LLMs) has driven the development of Large Vision-Language Models (LVLMs). The challenge of hallucination, prevalent in LLMs, also emerges in LVLMs. However, most existing efforts mainly focus on object hallucination in LVLM, ignoring diverse types of LVLM hallucinations. In this study, we delve into the Intrinsic Vision-Language Hallucination (IVL-Hallu) issue, thoroughly analyzing different types of IVL-Hallu on their causes and reflections. Specifically, we propose several novel IVL-Hallu tasks and categorize them into four types: (a) object hallucination, which arises from the misidentification of objects, (b) attribute hallucination, which is caused by the misidentification of attributes, (c) multi-modal conflicting hallucination, which derives from the contradictions between textual and visual information, and (d) counter-common-sense hallucination, which owes to the contradictions between the LVLM knowledge and actual images. Based on these taxonomies, we propose a more challenging benchmark named PhD to evaluate and explore IVL-Hallu. An automated pipeline is proposed for generating different types of IVL-Hallu data. Extensive experiments on five SOTA LVLMs reveal their inability to effectively tackle our proposed IVL-Hallu tasks, with detailed analyses and insights on the origins and possible solutions of these new challenging IVL-Hallu tasks, facilitating future researches on IVL-Hallu and LVLM. The benchmark can be accessed at \href{https://github.com/jiazhen-code/IntrinsicHallu}{this https URL}.
• Abstract（参考訳）: LLM(Large Language Models)の急速な成長により、LVLM(Large Vision-Language Models)の開発が進められた。 LLMで広く見られる幻覚の課題は、LVLMにも現れる。 しかし、既存の取り組みの大部分は、LVLMのさまざまな種類の幻覚を無視して、LVLMのオブジェクト幻覚に重点を置いている。 そこで本研究では,IVL-Halluの根本的視覚・言語幻覚(IVL-Hallu)問題について検討し,その原因と反映について,様々なタイプのIVL-Halluを徹底的に分析した。 具体的には、いくつかの新しいIVL-ハルルタスクを提案し、これらを4つのタイプに分類する。 (a)物体の誤認から生じる物体幻覚 (b)属性の誤識別による属性幻覚 (c)テキスト情報と視覚情報の矛盾から派生したマルチモーダルコンフリクト幻覚 (d)LVLMの知識と実際のイメージの矛盾による反常識幻覚。 これらの分類学に基づいて、IVL-ハルルの評価と探索を行うために、PhDというより難しいベンチマークを提案する。 異なるタイプのIVL-Halluデータを生成するための自動パイプラインが提案されている。 5つのSOTA LVLMの大規模な実験により、提案したIVL-Halluタスクに効果的に取り組むことができないことが明らかとなり、新しいIVL-Halluタスクの起源と解決法に関する詳細な分析と知見が得られ、IVL-HalluとLVLMの今後の研究が促進される。 ベンチマークは \href{https://github.com/jiazhen-code/IntrinsicHallu}{this https URL} からアクセスすることができる。

関連論文リスト

• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• Investigating and Mitigating the Multimodal Hallucination Snowballing in Large Vision-Language Models [33.19894606649144]
  視覚情報を人間の言語で理解する手法は進歩しているが、LVLM(Large Vision-Language Models)は多モード幻覚に悩まされている。 生成した幻覚に遭遇する際のLVLMの挙動を評価するためのMMHalballというフレームワークを提案する。 本稿では,LVLMの出力分布を残差視覚入力から導出した値で修正する,Residual Visual Decodingと呼ばれるトレーニング不要な手法を提案する。
  論文  参考訳（メタデータ） (2024-06-30T03:04:11Z)
• VDGD: Mitigating LVLM Hallucinations in Cognitive Prompts by Bridging the Visual Perception Gap [52.497823009176074]
  我々は幻覚の詳細な分析を行い、LVLMが幻覚をいかに、いつ、どのように、どのように、どのように、そして、どのようにして、新しい洞察を導き出す。 この欠点を克服するために、幻覚を緩和するためのシンプルで頑健でトレーニングのないVisual Description Grounded Decoding (VDGD)を提案する。
  論文  参考訳（メタデータ） (2024-05-24T16:21:59Z)
• A Survey on Hallucination in Large Vision-Language Models [18.540878498840435]
  LVLM(Large Vision-Language Models)は、実践的な実装の可能性から、AIの世界において注目を集めている。 しかし,「幻覚」は,現実の視覚的内容とそれに対応するテキスト生成のミスアライメントが,LVLMを活用する上で大きな課題となる。 我々は,LVLM関連幻覚を解明し,今後の緩和を促進するために検討する。
  論文  参考訳（メタデータ） (2024-02-01T00:33:21Z)
• Analyzing and Mitigating Object Hallucination in Large Vision-Language Models [110.12460299261531]
  大規模視覚言語モデル(LVLM)は、人間の言語で視覚情報を理解する際、顕著な能力を示した。 LVLMは依然として物体幻覚に悩まされており、画像に実際に存在しない物体を含む記述を生成するという問題である。 そこで我々は,LVLMの幻覚を再現するアルゴリズム LVLM Hallucination Revisor (LURE) を提案する。
  論文  参考訳（メタデータ） (2023-10-01T18:10:53Z)
• Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models [116.01843550398183]
  大規模言語モデル(LLM)は、様々な下流タスクで顕著な機能を示している。 LLMは時折、ユーザ入力から分岐するコンテンツを生成し、以前生成されたコンテキストと矛盾する。
  論文  参考訳（メタデータ） (2023-09-03T16:56:48Z)
• Evaluation and Analysis of Hallucination in Large Vision-Language Models [49.19829480199372]
  LVLM(Large Vision-Language Models)は近年大きな成功を収めている。 LVLMは今でも幻覚に悩まされている。 幻覚とは、視覚入力に存在しないLVLMの応答の情報を指す。
  論文  参考訳（メタデータ） (2023-08-29T08:51:24Z)
• Evaluating Object Hallucination in Large Vision-Language Models [122.40337582958453]
  本研究は,大規模視覚言語モデル(LVLM)の物体幻覚に関する最初の体系的研究である。 LVLMは、記述中の対象画像と矛盾しないオブジェクトを生成する傾向がある。 対象の幻覚を評価するために,POPEと呼ばれるポーリングに基づくクエリ手法を提案する。
  論文  参考訳（メタデータ） (2023-05-17T16:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。