論文の概要: Not Every Mention Is a Claim: Rethinking Object Hallucination Detection in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.23610v1
• Date: Fri, 16 Oct 2026 15:23:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.986845
• Title: Not Every Mention Is a Claim: Rethinking Object Hallucination Detection in Vision-Language Models
• Title（参考訳）: 視覚言語モデルにおける物体の幻覚検出の再考
• Abstract要約: Name-Bench: 25,497のオブジェクトは、5つの視覚言語モデルが画像のために生成するキャプションから参照している。 それぞれの言及は、具体的(アサートおよび現在)、幻覚的(アサートおよび欠落)、または非アサート的(非アサート的)、非アサート的(非アサート的)な言及はさらに4つのサブタイプに分けられる。 フラグ非アサーティブな言及を幻覚として評価するすべての幻覚検出器は、14%から80%の速度で幻覚である。
• 参考スコア（独自算出の注目度）: 9.726912553403505
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Object hallucination in vision-language models (VLMs) is usually measured by checking each object a caption names against the image. Most benchmarks and detectors alike treat every object mention as a claim that the object is present. This assumption fails when a caption names an object without asserting it, as in "a bench for people to sit on", which mentions people without claiming that any are in the image. We call such mentions non-assertive. Treating them as hallucinations inflates the error rates attributed to models that use such language. To separate them from real hallucinations, we introduce NAME-Bench (Non-Assertive Mention Evaluation Benchmark), 25,497 object mentions from captions that five VLMs generate for COCO images. Each mention is labelled concrete (asserted and present), hallucinated (asserted and absent), or non-assertive, and non-assertive mentions are further divided into four subtypes: depictive, purpose, negation and hedged. All the hallucination detectors that we evaluate flag non-assertive mentions as hallucinations, at rates between 14% and 80%. Adding non-assertive mentions to detector training as negatives largely corrects this on LLaVA-1.5. On the four newer VLMs, a comparable correction takes five to ten times more data, and the detectors then catch fewer real hallucinations. These findings show that current detectors conflate mentioning an object with asserting it, and that this conflation is harder to undo on the four newer VLMs than on LLaVA-1.5. Hallucination evaluation should therefore separate what a caption asserts from what it merely mentions.
• Abstract（参考訳）: 視覚言語モデル(VLM)におけるオブジェクト幻覚は、通常、画像に対して各オブジェクトにキャプション名をチェックすることによって測定される。 ほとんどのベンチマークや検出器は、オブジェクトが存在するという主張として、すべてのオブジェクトを扱います。 この仮定は、「人が座るベンチ」のように、キャプションがそれを主張せずにオブジェクトを名付けると失敗する。 我々はそのような言及を無断で呼ぶ。 幻覚として扱うことは、そのような言語を使用するモデルに起因するエラー率を膨らませる。 NAME-Bench (Non-Assertive Mention Evaluation Benchmark, 25497 object mentions that five VLMs generate for COCO image。 それぞれの言及は、具体的(アサートと現在)、幻覚的(アサートと欠落)、または非アサート的(非アサート)の4つのサブタイプ(描写、目的、否定、ヘッジド)に分けられる。 幻覚検出装置は, フラグの非アサーティブな言及を14%から80%の率で幻覚として評価した。 負の値として検出器トレーニングに非補助的な言及を加えることは、LLaVA-1.5でこれをほぼ修正する。 4つの新しいVLMでは、同等の補正が5倍から10倍のデータを処理し、検出器は実際の幻覚を減らす。 これらの結果から、現在の検出器は、物体にそれを主張して記述し、この衝突は、LLaVA-1.5よりも新しい4つのVLMを解き放つのが困難であることが明らかとなった。 したがって、幻覚評価は、キャプションが主張するものと単に言及するものとを区別すべきである。

関連論文リスト

• HalDec-Bench: Benchmarking Hallucination Detector in Image Captioning [27.133240420463807]
  字幕中の幻覚検出(HalDec)は、画像内容とテキストを正しく整列する視覚言語モデルの能力を評価する。 HalDec-Benchは、幻覚検出器を原理的かつ解釈可能な方法で評価するために設計されたベンチマークである。
  論文  参考訳（メタデータ） (2026-03-16T13:21:55Z)
• Does Object Grounding Really Reduce Hallucination of Large Vision-Language Models? [53.89380284760555]
  大型視覚言語モデル(LVLM)は、画像に見つからない概念に言及するキャプションを生成する。 これらの幻覚は、LVLMの信頼性を損なうものであり、ユビキタス採用の主な障害であることは間違いない。 最近の研究は、画像領域やオブジェクトをテキストスパンに明示的にアライメントする、接地目的の追加は、LVLM幻覚の量を減らすことを示唆している。
  論文  参考訳（メタデータ） (2024-06-20T16:56:11Z)
• AutoHallusion: Automatic Generation of Hallucination Benchmarks for Vision-Language Models [91.78328878860003]
  視覚言語モデル(LVLM)は幻覚の傾向が強い。 ベンチマークは多くの場合、障害パターンが一般化できない手作りのコーナーケースに依存します。 最初の自動ベンチマーク生成手法であるAutoHallusionを開発した。
  論文  参考訳（メタデータ） (2024-06-16T11:44:43Z)
• Mitigating Object Hallucination in MLLMs via Data-augmented Phrase-level Alignment [52.43197107069751]
  MLLM(Multimodal Large Language Models)はしばしば幻覚と呼ばれる事実的不正確な情報を生成する。 そこで,本研究では,MLLMの命令調整による幻覚の緩和に応用可能な新しい損失であるData-augmented Phrase-level Alignment(DPA)を提案する。
  論文  参考訳（メタデータ） (2024-05-28T23:36:00Z)
• ALOHa: A New Measure for Hallucination in Captioning Models [61.007542765171586]
  既存の物体幻覚の計量であるCHAIRは、MS COCOオブジェクトとシノニムの固定セットに限られる。 そこで我々は,大規模言語モデル(LLM)を利用して物体の幻覚を測定する,最新のオープン語彙メトリックALOHaを提案する。 ALOHaはHAT上のCHAIRよりも13.6%多くの幻覚物質を正しく同定することを示す。
  論文  参考訳（メタデータ） (2024-04-03T17:59:36Z)
• HallE-Control: Controlling Object Hallucination in Large Multimodal Models [80.03697683629035]
  詳細な字幕作成のための GPT-4 支援評価手法である $textitCCEval$ を導入する。 LMMは既存のVQAベンチマークにおいて最小限のオブジェクト存在幻覚を示すが、提案手法はそのような幻覚への感受性を継続することを示す。 LLaVA$_7B$に比べて幻覚は44%減少し,対象範囲を維持できる。
  論文  参考訳（メタデータ） (2023-10-03T04:01:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。