論文の概要: DreamRealm: Exploring and Materializing Hallucination Worlds for Trustworthy Vision-Language Models

• arxiv url: http://arxiv.org/abs/2611.06433v2
• Date: Thu, 05 Nov 2026 06:45:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.405753
• Title: DreamRealm: Exploring and Materializing Hallucination Worlds for Trustworthy Vision-Language Models
• Title（参考訳）: DreamRealm: 信頼できるビジョンランゲージモデルのための幻覚世界を探索し、物質化する
• Abstract要約: マルチモーダルな大言語モデル(MLLM)は、微妙な視覚的詳細に依存する場合、視覚幻覚の傾向が残る。 人間の誤解の正しさにインスパイアされたDreamRealmは、さまざまな幻覚反応を学習するポストトレーニングフレームワークです。 DreamRealmは、HalusionBenchの精度で7.26ポイント、MMVPペアの精度で11.34ポイントのゲインを含む、6つの視覚知覚と幻覚ベンチマークのパフォーマンスを改善している。
• 参考スコア（独自算出の注目度）: 13.8350585373505
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) remain prone to visual hallucinations when correct responses depend on subtle visual details. One line of post-training methods constructs visual contrasts through image retrieval, generation, or editing to improve fine-grained perception. However, these contrasts are not built around the model's own hallucinations, making it difficult to ensure that supervision targets its actual perceptual confusions. Another line suppresses hallucinated outputs through response correction or preference learning under fixed image conditions, but leaves the design of supervision signals on the image-input side underexplored. Inspired by how humans correct misconceptions, we introduce DreamRealm, a post-training framework that explores diverse latent hallucinated responses, minimally edits original images to make them valid, and trains the model to assign each response to its supporting image. Our data construction pipeline, RealmForgePipe, mines observed and latent hallucinations from a target model and materializes them through image editing. Using hallucinations mined from Qwen3.5-9B, we construct the Realized Hallucination Dataset (RealmSet). Our training objective, RealmMatch, constructs a likelihood score matrix across image--response combinations and combines supervised learning with bidirectional contrastive losses to reinforce correct matches and suppress mismatches. Compared with the original Qwen3.5-9B model, DreamRealm improves performance across six visual perception and hallucination benchmarks, including gains of 7.26 percentage points in HallusionBench accuracy and 11.34 percentage points in MMVP pair accuracy. Together with ablation studies on data construction and training methods, these results demonstrate that hallucination assignment is a promising paradigm for improving visual perception and mitigating hallucinations.
• Abstract（参考訳）: マルチモーダルな大言語モデル(MLLM)は、微妙な視覚的詳細に依存する場合、視覚幻覚の傾向が残る。 ポストトレーニング手法の1行は、画像検索、生成、編集を通じて視覚コントラストを構築し、きめ細かい知覚を改善する。 しかし、これらのコントラストはモデル自身の幻覚を中心に構築されていないため、監督が実際の知覚的混乱を標的にすることを確実にすることは困難である。 別の行は、固定された画像条件下での応答補正や嗜好学習を通じて幻覚出力を抑えるが、画像入力側で過度に探索された監視信号の設計を残している。 人間の誤解の正しさにインスパイアされたDreamRealmは、さまざまな潜在幻覚応答を探索し、元の画像を最小限に編集して有効にし、各レスポンスを支援画像に割り当てるようにモデルを訓練するポストトレーニングフレームワークである。 データ構築パイプラインであるRealmForgePipeは、ターゲットモデルから観測され、潜在する幻覚を検知し、画像編集によってそれらを実現します。 Qwen3.5-9Bから抽出した幻覚を用いて、実効幻覚データセット(RealmSet)を構築する。 トレーニング対象であるRealmMatchは,画像応答の組み合わせにまたがる確率スコア行列を構築し,教師あり学習と双方向のコントラスト的損失を組み合わせ,一致の強化とミスマッチの抑制を行う。 オリジナルのQwen3.5-9Bモデルと比較すると、DreamRealmはHalusionBenchの精度で7.26ポイント、MMVPの精度で11.34ポイントのゲインを含む、6つの視覚知覚と幻覚ベンチマークのパフォーマンスを改善している。 データ構築と訓練方法に関するアブレーション研究とともに、幻覚の割り当てが視覚的知覚を改善し、幻覚を緩和するための有望なパラダイムであることを実証した。

関連論文リスト

• Reducing Object Hallucination in LVLMs via Emphasizing Image-negative Tokens [19.11092776427327]
  生成過程を調査し,テキストトークンを画像陽性,不変,負の3つのグループに分類する。 分析の結果,ほとんどのトークンは画像情報の影響を最小限に受けていることがわかった。 幻覚に対する視覚的依存に応じて異なるトークンのトレーニング重量を調整することを提案する。
  論文  参考訳（メタデータ） (2026-05-20T15:29:20Z)
• Fighting Hallucinations with Counterfactuals: Diffusion-Guided Perturbations for LVLM Hallucination Suppression [3.2584778174972295]
  そこで我々は,軽量な特徴レベルの補正によって視覚誘発幻覚を抑制する訓練不要なCIPHERを提案する。 CIPHERは、主にテキストによる幻覚に焦点を当てた以前のトレーニングなしのアプローチとは異なり、視覚的モダリティから生じる幻覚を明示的にターゲットとしている。 複数のベンチマーク実験により、CIPHERはタスク性能を維持しながら幻覚率を大幅に低下させることが示された。
  論文  参考訳（メタデータ） (2026-03-11T06:40:50Z)
• CRoPS: A Training-Free Hallucination Mitigation Framework for Vision-Language Models [3.0991186209192794]
  幻覚コンテンツは、現実世界での使用において信頼性を損なう。 新しいモデルは、キーテキストトークンを選択的に削除することで幻覚効果をキャプチャする。 一般化されたコントラストデコーディングは、多様な幻覚源を表現するために複数の幻覚モデルを統合する。
  論文  参考訳（メタデータ） (2026-01-02T11:39:00Z)
• ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs [98.27348724529257]
  ViCrit (Visual Caption Hallucination Critic) は、VLMを訓練し、人間の手書き画像キャプションの段落に挿入された微妙で合成的な視覚幻覚をローカライズするRLプロキシタスクである。 ViCrit Taskでトレーニングされたモデルは、さまざまなビジョン言語モデルベンチマークで大幅に向上している。
  論文  参考訳（メタデータ） (2025-06-11T19:16:54Z)
• HELPD: Mitigating Hallucination of LVLMs by Hierarchical Feedback Learning with Vision-enhanced Penalty Decoding [36.360171373963716]
  LVLM(Large Vision-Language Models)は多くの視覚言語タスクにおいて顕著な性能を示している。 これらのモデルはまだマルチモーダル幻覚に悩まされており、それは画像に反するオブジェクトやコンテンツの生成を意味する。 本稿では、この問題に対処するために、視力強化されたペナルティ復号法(HELPD)を用いた階層的フィードバック学習を提案する。
  論文  参考訳（メタデータ） (2024-09-30T15:52:05Z)
• Pensieve: Retrospect-then-Compare Mitigates Visual Hallucination [14.25488878224697]
  本稿では、類似した視覚幻覚を利用する訓練不要の手法であるPensieveを提案する。 Pensieveは、抽出されたスコアを適応的にスケーリングすることで、視覚とテキストの両方のブランチからエラーに対処する効果を緩和する。
  論文  参考訳（メタデータ） (2024-03-21T13:49:42Z)
• Hallucination Augmented Contrastive Learning for Multimodal Large Language Model [53.65682783591723]
  マルチモーダル大規模言語モデル(MLLM)は、自然言語と視覚情報を効率的に統合し、マルチモーダルタスクを処理できることが示されている。 しかし、MLLMは幻覚の基本的な限界に直面しており、誤った情報や偽情報を生成する傾向がある。 本稿では,MLLMにおける幻覚を表現学習の新たな視点から論じる。
  論文  参考訳（メタデータ） (2023-12-12T04:05:15Z)
• Plausible May Not Be Faithful: Probing Object Hallucination in Vision-Language Pre-training [66.0036211069513]
  大規模視覚言語事前学習モデルは、テキストを生成する際に、存在しない視覚オブジェクトを幻覚させる傾向がある。 標準メトリクスでより良いスコアを得るモデルは、オブジェクトをより頻繁に幻覚させる可能性があることを示す。 驚いたことに、パッチベースの機能が最も良く、より小さなパッチ解決は、オブジェクト幻覚の非自明な減少をもたらす。
  論文  参考訳（メタデータ） (2022-10-14T10:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。