論文の概要: Logical Closed Loop: Uncovering Object Hallucinations in Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2402.11622v2
• Date: Fri, 28 Jun 2024 07:20:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 21:44:37.907567
• Title: Logical Closed Loop: Uncovering Object Hallucinations in Large Vision-Language Models
• Title（参考訳）: 論理閉ループ:大規模視覚言語モデルにおける物体幻覚の発見
• Authors: Junfei Wu, Qiang Liu, Ding Wang, Jinghao Zhang, Shu Wu, Liang Wang, Tieniu Tan,
• Abstract要約: オブジェクト幻覚(Object Hallucination)とは、LVLMが画像に存在しない物体を主張する現象である。 本稿では,物体の幻覚検出と緩和,すなわちLogicCheckGPTのための論理閉ループベースのフレームワークを提案する。 プラグアンドプレイ法として、既存のすべてのLVLMにシームレスに適用することができる。
• 参考スコア（独自算出の注目度）: 52.957842999317506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Object hallucination has been an Achilles' heel which hinders the broader applications of large vision-language models (LVLMs). Object hallucination refers to the phenomenon that the LVLMs claim non-existent objects in the image. To mitigate the object hallucinations, instruction tuning and external model-based detection methods have been proposed, which either require large-scare computational resources or depend on the detection result of external models. However, there remains an under-explored field to utilize the LVLM itself to alleviate object hallucinations. In this work, we adopt the intuition that the LVLM tends to respond logically consistently for existent objects but inconsistently for hallucinated objects. Therefore, we propose a Logical Closed Loop-based framework for Object Hallucination Detection and Mitigation, namely LogicCheckGPT. In specific, we devise logical consistency probing to raise questions with logical correlations, inquiring about attributes from objects and vice versa. Whether their responses can form a logical closed loop serves as an indicator of object hallucination. As a plug-and-play method, it can be seamlessly applied to all existing LVLMs. Comprehensive experiments conducted on three benchmarks across four LVLMs have demonstrated significant improvements brought by our method, indicating its effectiveness and generality.
• Abstract（参考訳）: 物体幻覚は、大きな視覚言語モデル(LVLM)の幅広い応用を妨げるアキレス腱である。 オブジェクト幻覚(Object Hallucination)とは、LVLMが画像に存在しない物体を主張する現象である。 物体の幻覚、命令のチューニング、外部モデルに基づく検出手法が提案されており、これは大規模な計算資源を必要とするか、外部モデルの検出結果に依存する。 しかし、LVLM自体を利用して物体の幻覚を和らげるために、まだ探索されていない分野がある。 本研究では,LVLMが存在対象に対して論理的に一貫した応答を示す傾向にあるが,幻影対象に対しては矛盾しないという直観を採用する。 そこで本研究では,物体の幻覚検出と緩和,すなわちLogicCheckGPTのための論理閉ループベースのフレームワークを提案する。 具体的には、論理的整合性探索を考案し、論理的相関による質問を提起し、オブジェクトの属性を問う。 それらの反応が論理閉ループを形成するか否かは、対象幻覚の指標となる。 プラグアンドプレイ法として、既存のすべてのLVLMにシームレスに適用することができる。 4つのLVLMにまたがる3つのベンチマークで実施した総合的な実験により,本手法がもたらす有意な改善が示され,その有効性と汎用性が確認された。

関連論文リスト

• Unified Triplet-Level Hallucination Evaluation for Large Vision-Language Models [22.996176483599868]
  我々は,LVLM(Large Vision-Language Models)における対象と関係の幻覚を同時に測定するための統一的なフレームワークを設計する。 本稿では,トリプルトレベルの幻覚評価ベンチマークTri-HEを紹介する。
  論文  参考訳（メタデータ） (2024-10-30T15:25:06Z)
• From Pixels to Tokens: Revisiting Object Hallucinations in Large Vision-Language Models [15.401221354325672]
  大型視覚モデル(LVLM)における幻覚は、視覚入力に表示されない物体を生成するという重要な課題である。 最近の研究では、幻覚は視覚的な入力の理解の欠如に起因しているが、より根本的な問題は無視されている。 本稿では,LVLMの幻覚をアーキテクチャの観点から再検討し,視覚エンコーダ(機能抽出)とモーダルアライメントモジュール(機能デカップリング)の主な原因について検討する。
  論文  参考訳（メタデータ） (2024-10-09T11:46:32Z)
• Multi-Object Hallucination in Vision-Language Models [28.135215173793785]
  大型視覚言語モデル(LVLM)は、しばしば物体幻覚に悩まされる。 幻覚行動は、データ固有の要因、サリエンスと周波数、本質的なモデル行動に影響される。
  論文  参考訳（メタデータ） (2024-07-08T17:59:57Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• Does Object Grounding Really Reduce Hallucination of Large Vision-Language Models? [53.89380284760555]
  大型視覚言語モデル(LVLM)は、画像に見つからない概念に言及するキャプションを生成する。 これらの幻覚は、LVLMの信頼性を損なうものであり、ユビキタス採用の主な障害であることは間違いない。 最近の研究は、画像領域やオブジェクトをテキストスパンに明示的にアライメントする、接地目的の追加は、LVLM幻覚の量を減らすことを示唆している。
  論文  参考訳（メタデータ） (2024-06-20T16:56:11Z)
• The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
  幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。 幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。 本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
  論文  参考訳（メタデータ） (2024-01-06T12:40:45Z)
• Analyzing and Mitigating Object Hallucination in Large Vision-Language Models [110.12460299261531]
  大規模視覚言語モデル(LVLM)は、人間の言語で視覚情報を理解する際、顕著な能力を示した。 LVLMは依然として物体幻覚に悩まされており、画像に実際に存在しない物体を含む記述を生成するという問題である。 そこで我々は,LVLMの幻覚を再現するアルゴリズム LVLM Hallucination Revisor (LURE) を提案する。
  論文  参考訳（メタデータ） (2023-10-01T18:10:53Z)
• Evaluating Object Hallucination in Large Vision-Language Models [122.40337582958453]
  本研究は,大規模視覚言語モデル(LVLM)の物体幻覚に関する最初の体系的研究である。 LVLMは、記述中の対象画像と矛盾しないオブジェクトを生成する傾向がある。 対象の幻覚を評価するために,POPEと呼ばれるポーリングに基づくクエリ手法を提案する。
  論文  参考訳（メタデータ） (2023-05-17T16:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。