論文の概要: PLANE: Plug-and-Play Fine-Grained Visual Experts for Hallucination Mitigation in Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.25146v1
• Date: Sun, 18 Oct 2026 10:03:20 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:45:35.853657
• Title: PLANE: Plug-and-Play Fine-Grained Visual Experts for Hallucination Mitigation in Large Vision-Language Models
• Title（参考訳）: PLANE:大型視覚言語モデルにおける幻覚軽減のためのプラグアンドプレイファイングラインドビジュアルエキスパート
• Abstract要約: LVLM(Large Vision-Language Models)は通常幻覚に悩まされる。 以前の研究は、CLIPスタイルの視覚エンコーダが幻覚の原因の1つである画像の詳細を無視しながら、プライマリオブジェクトにフォーカスする傾向があることを実証的に示している。 マルチアスペクト画像符号化のためのCLIPで動作するLORAビジュアルエキスパートと、適応画像特徴融合のための命令認識ゲートネットワークの2つのコンポーネントからなるプラグアンドプレイビジュアルエキスパート(PLANE)を提案する。
• 参考スコア（独自算出の注目度）: 21.343932174962564
• License:
• Abstract: Large Vision-Language Models (LVLMs) commonly suffer from hallucinations, which appear as fabricating non-existent objects or outputting incorrect attributes and spatial relationships in images. Previous works empirically indicate that CLIP-style vision encoders tend to focus on primary objects while ignoring image details, which is one of the causes of hallucinations. To address this issue, we propose plug-and-play fine-grained visual experts (PLANE) comprising two components: LoRA visual experts operating on CLIP for multi-aspect image encoding, and an instruction-aware gate network for adaptive image feature fusion. During training, we construct a fine-grained image-caption pairs dataset, where images are described from three aspects: objects, attributes, and relations between objects. Image-caption pairs from different aspects are used to train the three fine-grained LoRA experts respectively. Aiming at comprehensively evaluate our method's capabilities, we manually annotate a fine-grained hallucination evaluation benchmark for LVLMs which is GPT4-independent during evaluation phase (GIFT). We conduct experiments both on popular hallucination evaluation benchmarks and GIFT. The results show that our method effectively reduces hallucinations across models of different types and sizes while introducing minimal inference latency. Compared to advanced baselines, our model also demonstrates superior performance.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、主に幻覚に悩まされ、既存の物体や不正確な属性や空間的関係を画像に出力する。 以前の研究は、CLIPスタイルの視覚エンコーダが幻覚の原因の1つである画像の詳細を無視しながら、プライマリオブジェクトにフォーカスする傾向があることを実証的に示している。 この問題に対処するために,マルチアスペクト画像符号化のためのCLIPで動作するLORAビジュアルエキスパートと,適応画像特徴融合のための命令対応ゲートネットワークの2つのコンポーネントからなる,プラグ&プレイのきめ細かいビジュアルエキスパート(PLANE)を提案する。 トレーニング中、我々は、オブジェクト、属性、オブジェクト間の関係という3つの側面から画像を記述する、きめ細かい画像キャプチャーペアデータセットを構築した。 異なる側面からのイメージキャプチャペアは、3つの細かいLORA専門家をそれぞれ訓練するために使用される。 本手法の能力を包括的に評価することを目的として,評価フェーズ(GIFT)においてGPT4非依存なLVLMの微粒化幻覚評価ベンチマークを手作業でアノテートする。 一般的な幻覚評価ベンチマークとGIFTで実験を行った。 その結果,提案手法は,最小の推論遅延を導入しながら,異なるタイプやサイズのモデル間での幻覚を効果的に低減することを示した。 先進的なベースラインと比較して,本モデルは優れた性能を示す。

関連論文リスト

• When Prompts Override Vision: Prompt-Induced Hallucinations in LVLMs [54.411658510110215]
  本研究では,異なる要因が幻覚を誘発する程度をよりよく理解するために,HauScopeを提案する。 HalluVL-DPOは、市販のLVLMをより視覚的な応答に向けて微調整するためのフレームワークである。
  論文  参考訳（メタデータ） (2026-04-23T17:54:36Z)
• SAVE: Sparse Autoencoder-Driven Visual Information Enhancement for Mitigating Object Hallucination [48.601385640941935]
  Sparse Autoencoderの潜在機能に沿ってモデルを操ることで幻覚を緩和するフレームワークであるSAVEを提案する。 バイナリオブジェクトプレゼンス質問回答プローブは、モデルの視覚情報処理を最も示唆するSAEの特徴を識別する。 SAVEはシンプルな設計で、標準的なベンチマークで最先端のトレーニングフリーメソッドより優れている。
  論文  参考訳（メタデータ） (2025-12-08T17:20:07Z)
• Diving into Mitigating Hallucinations from a Vision Perspective for Large Vision-Language Models [19.45479056650684]
  LVLM(Large Vision-Language Models)における物体幻覚は、現実の応用性を著しく阻害する。 本研究では,新しいコンテキスト対応ルーティングネットワークであるVisionWeaverを提案する。 グローバルな視覚機能を使用してルーティング信号を生成し、複数の専門専門家から視覚的特徴を動的に集約する。
  論文  参考訳（メタデータ） (2025-09-17T09:08:05Z)
• SAVER: Mitigating Hallucinations in Large Vision-Language Models via Style-Aware Visual Early Revision [59.61988843996952]
  Style-Aware Visual Early Revision SAVERはトークンレベルの視覚的注意パターンに基づいてLVLMの最終出力を動的に調整する新しいメカニズムである。 我々は,SAVERが様々なモデル,データセット,タスクの幻覚緩和において,最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-08-05T07:41:25Z)
• ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs [98.27348724529257]
  ViCrit (Visual Caption Hallucination Critic) は、VLMを訓練し、人間の手書き画像キャプションの段落に挿入された微妙で合成的な視覚幻覚をローカライズするRLプロキシタスクである。 ViCrit Taskでトレーニングされたモデルは、さまざまなビジョン言語モデルベンチマークで大幅に向上している。
  論文  参考訳（メタデータ） (2025-06-11T19:16:54Z)
• Towards a Systematic Evaluation of Hallucinations in Large-Vision Language Models [57.58426038241812]
  LVLM(Large Vision-Language Models)は、複雑なマルチモーダルタスクにおいて顕著な性能を示す。 これらのモデルは、画像から様々な視覚的実体を暗黙的に認識または推測する必要がある場合、まだ幻覚に悩まされている。 本稿では,視覚的質問応答(VQA)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-12-29T23:56:01Z)
• Make VLM Recognize Visual Hallucination on Cartoon Character Image with Pose Information [5.501684533538496]
  視覚言語モデル(VLM)を用いた意味幻覚検出システムを提案する。 我々は、プロンプト、RGB画像、ポーズ情報を超えて視覚データをさらに入力することで、VLMの全体的な性能を改善する、ポーズ認識型インコンテキスト・ビジュアル・ラーニング(PA-ICVL)を導入する。 本研究は、コンテキスト内視覚学習による視覚幻覚を緩和し、非フォトリアリスティック領域における潜在能力を拡大することにより、TTIモデルの現実世界への応用に向けての能力を向上させる。
  論文  参考訳（メタデータ） (2024-03-22T09:13:09Z)
• Seeing is Believing: Mitigating Hallucination in Large Vision-Language Models via CLIP-Guided Decoding [36.81476620057058]
  LVLM(Large Vision-Language Models)は、物体の幻覚に影響を受けやすい。 現在のアプローチは、しばしばモデルのトークン可能性やその他の内部情報に依存する。 CLIP-Guided Decoding approach to reduce object hallucination at decoding time。
  論文  参考訳（メタデータ） (2024-02-23T12:57:16Z)
• Mitigating Hallucination in Visual Language Models with Visual Supervision [33.05550629039951]
  大きな視覚言語モデル(LVLM)は幻覚に悩まされている。 鍵となる問題は、マルチモーダルなコンテキストで詳細なコンテンツを理解できないことだ。 本稿では,LVLMのトレーニングを容易にするために,より詳細な視覚アノテーションとより識別可能な視覚モデルを提案する。
  論文  参考訳（メタデータ） (2023-11-27T09:30:02Z)
• Plausible May Not Be Faithful: Probing Object Hallucination in Vision-Language Pre-training [66.0036211069513]
  大規模視覚言語事前学習モデルは、テキストを生成する際に、存在しない視覚オブジェクトを幻覚させる傾向がある。 標準メトリクスでより良いスコアを得るモデルは、オブジェクトをより頻繁に幻覚させる可能性があることを示す。 驚いたことに、パッチベースの機能が最も良く、より小さなパッチ解決は、オブジェクト幻覚の非自明な減少をもたらす。
  論文  参考訳（メタデータ） (2022-10-14T10:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。