論文の概要: Negative Object Presence Evaluation (NOPE) to Measure Object Hallucination in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2310.05338v2
• Date: Tue, 13 Aug 2024 05:48:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 23:14:44.146895
• Title: Negative Object Presence Evaluation (NOPE) to Measure Object Hallucination in Vision-Language Models
• Title（参考訳）: 視覚・言語モデルにおける物体の幻覚測定のための負の物体存在評価(NOPE)
• Authors: Holy Lovenia, Wenliang Dai, Samuel Cahyawijaya, Ziwei Ji, Pascale Fung,
• Abstract要約: NOPE(Negative Object Presence Evaluation)は、視覚言語(VL)モデルにおける物体幻覚を評価するために設計された新しいベンチマークである。 視覚的問題における物体の非存在を識別するために,10種類の最先端VLモデルの性能を広範囲に検討する。
• 参考スコア（独自算出の注目度）: 67.8024390595066
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Object hallucination poses a significant challenge in vision-language (VL) models, often leading to the generation of nonsensical or unfaithful responses with non-existent objects. However, the absence of a general measurement for evaluating object hallucination in VL models has hindered our understanding and ability to mitigate this issue. In this work, we present NOPE (Negative Object Presence Evaluation), a novel benchmark designed to assess object hallucination in VL models through visual question answering (VQA). We propose a cost-effective and scalable approach utilizing large language models to generate 29.5k synthetic negative pronoun (NegP) data of high quality for NOPE. We extensively investigate the performance of 10 state-of-the-art VL models in discerning the non-existence of objects in visual questions, where the ground truth answers are denoted as NegP (e.g., "none"). Additionally, we evaluate their standard performance on visual questions on 9 other VQA datasets. Through our experiments, we demonstrate that no VL model is immune to the vulnerability of object hallucination, as all models achieve accuracy below 10\% on NegP. Furthermore, we uncover that lexically diverse visual questions, question types with large scopes, and scene-relevant objects capitalize the risk of object hallucination in VL models.
• Abstract（参考訳）: 物体幻覚は視覚言語(VL)モデルにおいて重要な課題となり、しばしば存在しない物体との非感覚的あるいは不誠実な反応を生み出す。 しかしながら、VLモデルにおける物体幻覚評価のための一般的な測定方法がないため、この問題を緩和する理解と能力が妨げられている。 本研究では,視覚的質問応答(VQA)を用いて,VLモデルの物体幻覚を評価するための新しいベンチマークであるNOPE(Negative Object Presence Evaluation)を提案する。 本研究では,NOPEの高品質な29.5kの合成負代名詞(NegP)データを生成するために,大規模言語モデルを用いた費用対効果の高いスケーラブルな手法を提案する。 視覚的問題における物体の非存在を識別する10種類の最先端VLモデルの性能を広範囲にわたって検討し、そこでは基底的真理解をNegP(e g , "none")と表現する。 さらに、他の9つのVQAデータセットの視覚的質問に対して、それらの標準性能を評価する。 実験により、全てのモデルがNegP上で10倍未満の精度を達成するため、VLモデルが物体幻覚の脆弱性に免疫しないことを示した。 さらに、語彙的に多様な視覚的質問、広い範囲の質問タイプ、シーン関連オブジェクトが、VLモデルにおける物体幻覚のリスクを負うことを明らかにする。

関連論文リスト

• H-POPE: Hierarchical Polling-based Probing Evaluation of Hallucinations in Large Vision-Language Models [0.0]
  対象物の存在と属性の幻覚を評価する粗粒度ベンチマークであるH-POPEを提案する。 評価の結果,モデルが物体の存在に幻覚を与える傾向がみられ,さらに微粒な属性が生じる傾向が示唆された。
  論文  参考訳（メタデータ） (2024-11-06T17:55:37Z)
• VHELM: A Holistic Evaluation of Vision Language Models [75.88987277686914]
  視覚言語モデル(VHELM)の全体的評価について述べる。 VHELMは、視覚的知覚、知識、推論、バイアス、公平性、多言語性、堅牢性、毒性、安全性の9つの側面の1つ以上をカバーするために、さまざまなデータセットを集約する。 私たちのフレームワークは軽量で自動で、評価の実行が安価で高速に行えるように設計されています。
  論文  参考訳（メタデータ） (2024-10-09T17:46:34Z)
• Interpreting and Editing Vision-Language Representations to Mitigate Hallucinations [15.035663040732798]
  幻覚に対処するために視覚言語モデル(VLM)の内部表現について検討する。 我々は,VLMの内部画像表現を言語語彙に投影し,実物体の出力確率を幻覚的物体よりも高い信頼度で観測する。 モデルが潜在する表現を対象とする編集は、COCO2014データセットで最大25.7%の幻覚を減少させることができることを示す。
  論文  参考訳（メタデータ） (2024-10-03T17:59:57Z)
• Multi-Object Hallucination in Vision-Language Models [28.135215173793785]
  大型視覚言語モデル(LVLM)は、しばしば物体幻覚に悩まされる。 幻覚行動は、データ固有の要因、サリエンスと周波数、本質的なモデル行動に影響される。
  論文  参考訳（メタデータ） (2024-07-08T17:59:57Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• Quantity Matters: Towards Assessing and Mitigating Number Hallucination in Large Vision-Language Models [57.42800112251644]
  本研究では,画像中の特定の物体の数を誤って識別するモデルを参照しながら,特定の種類の幻覚数幻覚に焦点を当てた。 そこで,本研究では,数幻覚を減らすための一貫性向上を目的としたトレーニング手法を考案し,直接微調整法よりも8%の性能向上を図った。
  論文  参考訳（メタデータ） (2024-03-03T02:31:11Z)
• Analyzing and Mitigating Object Hallucination in Large Vision-Language Models [110.12460299261531]
  大規模視覚言語モデル(LVLM)は、人間の言語で視覚情報を理解する際、顕著な能力を示した。 LVLMは依然として物体幻覚に悩まされており、画像に実際に存在しない物体を含む記述を生成するという問題である。 そこで我々は,LVLMの幻覚を再現するアルゴリズム LVLM Hallucination Revisor (LURE) を提案する。
  論文  参考訳（メタデータ） (2023-10-01T18:10:53Z)
• Plausible May Not Be Faithful: Probing Object Hallucination in Vision-Language Pre-training [66.0036211069513]
  大規模視覚言語事前学習モデルは、テキストを生成する際に、存在しない視覚オブジェクトを幻覚させる傾向がある。 標準メトリクスでより良いスコアを得るモデルは、オブジェクトをより頻繁に幻覚させる可能性があることを示す。 驚いたことに、パッチベースの機能が最も良く、より小さなパッチ解決は、オブジェクト幻覚の非自明な減少をもたらす。
  論文  参考訳（メタデータ） (2022-10-14T10:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。