論文の概要: Fine-Grained Generative Hallucination Detection and Correction for Aerial Image Captioning
- arxiv url: http://arxiv.org/abs/2611.15809v1
- Date: Wed, 11 Nov 2026 18:26:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.249294
- Title: Fine-Grained Generative Hallucination Detection and Correction for Aerial Image Captioning
- Title(参考訳): 航空画像キャプションのためのファイングレード生成幻覚検出と補正
- Abstract要約: 自由形態の空中画像キャプションにおける幻覚検出と修正のための軽量で参照不要なフレームワークを提案する。
本手法は,最新のMLLM,特にInternVL3とQwen2.5-VLを活用し,最小の計算オーバーヘッドで生成したキャプション内の幻覚内容を検出する。
- 参考スコア(独自算出の注目度): 7.1292863076573525
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Aerial imagery captured by unmanned aerial vehicles (UAVs) plays a vital role in applications such as surveillance, disaster response, and large-scale environmental monitoring. Automatic generation of textual descriptions for such imagery is essential for reducing manual inspection overhead and enabling better downstream decision-making. However, Multimodal Large Language Models (MLLMs), despite their impressive captioning capabilities, are prone to hallucination, producing descriptions that are inconsistent with the visual input. This problem is significantly amplified in aerial imagery due to its unique challenges such as extreme viewpoint variation, small objects, class imbalance, and ambiguous visual entities. Existing hallucination detection approaches either rely on computationally expensive large external models such as GPT-4, which perform poorly on aerial domains, or treat the problem as a rigid binary classification task, ignoring the inherent uncertainty in ambiguous cases. To address these limitations, we propose a lightweight, reference-free framework for hallucination detection and correction in free-form aerial image captioning. Our method leverages state-of-the-art MLLMs, specifically InternVL3 and Qwen2.5-VL, to detect hallucinated content in generated captions with minimal computational overhead. Detected hallucinations are corrected through a dedicated refinement module that improves the factual consistency of the original captions. Extensive experiments on the Labelled Illusion Dataset (LID) demonstrate that our framework significantly reduces hallucination rates while remaining practical for real-time deployment in resource-constrained environments. Code is available at: https://github.com/Debolena7/Hal_Detect.
- Abstract(参考訳): 無人航空機(UAV)が捉えた航空画像は、監視、災害対応、大規模環境監視といった用途において重要な役割を担っている。
このような画像のテキスト記述の自動生成は、手動検査のオーバーヘッドを減らし、下流の意思決定を改善するために不可欠である。
しかしマルチモーダル大言語モデル(MLLM)は印象的なキャプション機能にもかかわらず幻覚の傾向があり、視覚的な入力と矛盾しない記述を生成する。
この問題は、極端な視点の変化、小さな物体、クラス不均衡、曖昧な視覚的実体など、ユニークな課題のために、空中画像において顕著に増幅されている。
既存の幻覚検出アプローチは、GPT-4のような計算コストのかかる大規模な外部モデルに頼っているか、または、不明瞭なケースで固有の不確実性を無視して、この問題を厳密な二分分類タスクとして扱う。
これらの制約に対処するため,空画像キャプションにおける幻覚検出と修正のための軽量で参照不要なフレームワークを提案する。
本手法は,最新のMLLM,特にInternVL3とQwen2.5-VLを活用し,最小の計算オーバーヘッドで生成したキャプション内の幻覚内容を検出する。
検出された幻覚は、オリジナルのキャプションの現実的な一貫性を改善する専用洗練されたモジュールによって修正される。
Labelled Illusion Dataset (LID) の大規模な実験により、我々のフレームワークは、リソース制約のある環境におけるリアルタイムなデプロイを実践しながら、幻覚率を大幅に低下させることを示した。
コードは、https://github.com/Debolena7/Hal_Detect.comで入手できる。
関連論文リスト
- Mitigating Object Hallucination in Large Vision-Language Models via False Discovery Controlled Visual Data Splitting [11.359548127361174]
大規模視覚言語モデル(LVLM)が視覚入力でサポートされていないオブジェクトを生成する複数の物体幻覚は、復号時に視覚の不確実性によって引き起こされる永続的な課題である。
既存の方法は、コントラスト信号を用いた幻覚を減らすが、画像レベルでの偽陽性の原理的な制御に依存している。
HALlucination (CORAL) のFalse Discovery Rate-COntRol (False Discovery Rate-COntRol of HALlucination) を提案する。
論文 参考訳(メタデータ) (2026-09-30T04:56:09Z) - VCE: A zero-cost hallucination mitigation method of LVLMs via visual contrastive editing [70.82867621856968]
大きな視覚言語モデル(LVLM)は、しばしば物体幻覚(OH)に悩まされる
近年の研究では、幻覚の問題は言語の先行に起因している可能性が示唆されている。
本稿では視覚コントラスト編集(VCE)を提案する。
論文 参考訳(メタデータ) (2026-04-21T12:40:07Z) - Look Carefully: Adaptive Visual Reinforcements in Multimodal Large Language Models for Hallucination Mitigation [51.743225614196774]
マルチモーダル大言語モデル (MLLM) は視覚言語推論において顕著な進歩を遂げている。
彼らは幻覚に弱いままであり、そこで生成されたコンテンツは視覚的証拠から逸脱する。
近年の視覚強調法では、復号時に視覚トークンを補強することでこの問題に対処しようとしている。
本稿では,MLLMのトレーニングフリーフレームワークであるAdaptive Visual Reinforcement (AIR)を提案する。
論文 参考訳(メタデータ) (2026-02-27T14:18:51Z) - Mitigating Object Hallucination via Robust Local Perception Search [11.570368427723961]
局所知覚探索(Local Perception Search, LPS)は、単純かつ訓練のない推論における復号法であり、幻覚を効果的に抑制する。
LPSはベースラインに比べて幻覚の発生率を著しく低下させ,特に騒音条件下では異常な性能を示した。
論文 参考訳(メタデータ) (2025-06-07T09:27:26Z) - Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。
本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
論文 参考訳(メタデータ) (2025-04-17T17:59:22Z) - PerturboLLaVA: Reducing Multimodal Hallucinations with Perturbative Visual Training [56.172959986096316]
本稿では,マルチモーダル大規模言語モデル(MLLM)における幻覚の課題を解決することを目的とする。
HalFscoreは言語グラフ上に構築された新しい計量であり、密度の高いキャプションの精度と完全性の両方を粒度レベルで評価するように設計されている。
PerturboLLaVAは、生成されたキャプションの忠実度を著しく改善し、マルチモーダル幻覚に対する既存のアプローチよりも優れている。
論文 参考訳(メタデータ) (2025-03-09T07:07:03Z) - CATCH: Complementary Adaptive Token-level Contrastive Decoding to Mitigate Hallucinations in LVLMs [74.36850397755572]
CATCHは、未解決のシナリオにおいて、きめ細かい特徴知覚と累積幻覚を減少させる視覚的欠陥に関連する問題に対処する。
これは、特定のデータや事前知識を必要とせず、様々な視覚的質問応答タスクに適用でき、追加のトレーニングを必要とせず、新しいタスクにしっかりと一般化する。
論文 参考訳(メタデータ) (2024-11-19T18:27:31Z) - Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [40.930238150365795]
我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。
プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。
そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
論文 参考訳(メタデータ) (2024-04-22T14:46:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。