論文の概要: When Visual Signals Mislead: A Mechanistic Study of Attribute Hallucination in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2608.11024v1
• Date: Tue, 11 Aug 2026 15:05:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:46.096508
• Title: When Visual Signals Mislead: A Mechanistic Study of Attribute Hallucination in Vision-Language Models
• Title（参考訳）: 視覚信号の誤認:視覚・言語モデルにおける属性幻覚の力学的検討
• Abstract要約: 本稿では,Null-imageベースの診断と経路的修復を併用した統合フレームワークVISORを提案する。 3つのVLMファミリーと3つの属性タイプから抽出された10,791個の負の地下構造サンプルに対して、視覚信号は偽陽性を強く予測する。 VISORはこの診断を用いて、2つの障害モードを分離する。
• 参考スコア（独自算出の注目度）: 9.586802962641013
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attribute hallucination---where vision-language models (VLMs) correctly identify an object but mischaracterize its properties---is prevalent yet mechanistically poorly understood. The dominant explanation, language-prior dominance, has motivated prior-suppression methods, but this explanation has not been directly tested at the attribute level. We present VISOR (Visual-Operational Remediation), a unified framework that couples null-image-based diagnosis with routed remediation. Its VSNR diagnostic decomposes each prediction into a visual logit signal and a language-prior signal. Across 10,791 negative-ground-truth samples from three VLM families and three attribute types, the visual signal strongly predicts false positives, whereas the language-prior signal is near chance. VISOR uses this diagnosis to separate two failure modes: low-margin but directionally correct visual signals in color/state attributes, and low-SNR or misaligned visual signals in material attributes. The same diagnosis routes each query to the appropriate operator: calibration for threshold-placement errors, abstention for training-free low-SNR handling, or targeted visual adaptation for material failures that prior suppression cannot correct. Across Qwen, InternVL, and LLaVA, VISOR reduces attribute false positives without relying on the prior-dominance assumption.
• Abstract（参考訳）: 属性幻覚(Attribute Hallucination) - 視覚言語モデル(VLM)は対象を正しく識別するが、その特性を誤認識する。 言語優位性(Language-prior dominance)という支配的な説明はプレプレッシャー手法を動機付けてきたが、この説明は属性レベルで直接テストされていない。 我々は、ヌル画像に基づく診断と経路的修復を併用した統合フレームワークVISOR(Visual-Operational Remediation)を提案する。 そのVSNR診断は、各予測を視覚ロジット信号と言語優先信号に分解する。 3つのVLMファミリーと3つの属性タイプからの10,791件の負の地上構造サンプルに対して、視覚信号は偽陽性を強く予測する一方、言語優先信号は近い確率である。 VISORはこの診断を用いて、2つの障害モードを分離する。 同じ診断は、各クエリを適切なオペレータにルーティングする: しきい値配置エラーの校正、トレーニングなしの低SNRハンドリングの棄権、あるいは事前の抑制が正しくない材料障害のターゲット視覚適応。 Qwen、InternVL、LLaVAの他、VISORは事前支配の仮定に頼らずに属性偽陽性を減らす。

関連論文リスト

• Beyond Language Priors: Diagnosing and Fixing Visual-Origin Hallucinations in Multimodal LLM [37.0916688511164]
  視覚的特徴抽出と画像とテキストの埋め込みの誤調整から幻覚が生じる視覚的オリジン幻覚の証拠を提示する。 本稿では、この問題を修正するために、ACFT(Adversarial Contrastive Fine-Tuning)を提案する。 ACFTは、LLaVA、MiniGPT-4、Qwen2.5-VLにまたがるPOPE、MME、および4つの記述レベル幻覚ベンチマークの最先端性能を達成する。
  論文  参考訳（メタデータ） (2026-08-31T18:38:24Z)
• Beyond Static Anchors: Bounded Prototype Conditioning for Language-Free Medical Anomaly Detection [52.986874008247554]
  本稿では,静的アンカーを入力条件付きビジュアルプロトタイプに置き換える言語フリーフレームワークReCAPを提案する。 ReCAPリセンターは、境界ゲート変調により、各画像の正常と異常なプロトタイプを分離した。 3つのセグメンテーションデータセットで最高のゼロショットレベルのAUROCと、24の複数ショット設定のうち23のゼロショットレベルのAUROCを達成する。
  論文  参考訳（メタデータ） (2026-08-01T04:46:55Z)
• Role-Break in Attention Heads: Understanding and Detecting Hallucinations in VLMs [49.743008490747094]
  Vision-Language Models (VLMs) は幻覚の傾向が強く、入力された画像によってサポートされないコンテンツを生成する。 統合された頭部レベルの視点では,幻覚による変化が各頭部の忠実な文脈行動からの局所的な逸脱として現れる。 詳細な分析により、これらの偏差は注目ヘッド、コンテキストソース、偏差方向にわたって体系的に整理され、その結果の信号はヘッドアイデンティティが保存されると線形に可読であることが分かる。
  論文  参考訳（メタデータ） (2026-07-31T13:33:51Z)
• Can Large Language Models Generate Observability-Aware Code? [51.30941152293301]
  本稿では,エージェント生成システムにおける可観測性に関する系統的研究を行う。 その結果,ソースレベルでの診断的セマンティクスと実行時の障害信号との間には,一貫したギャップがあることが判明した。 本稿では,診断的意味論と故障信号暴露の両方を改善するためのガイダンスとして,可観測性指向のスキルを導入する。
  論文  参考訳（メタデータ） (2026-07-07T03:20:52Z)
• VCE: A zero-cost hallucination mitigation method of LVLMs via visual contrastive editing [70.82867621856968]
  大きな視覚言語モデル(LVLM)は、しばしば物体幻覚(OH)に悩まされる 近年の研究では、幻覚の問題は言語の先行に起因している可能性が示唆されている。 本稿では視覚コントラスト編集(VCE)を提案する。
  論文  参考訳（メタデータ） (2026-04-21T12:40:07Z)
• LogitDynamics: Reliable ViT Error Detection from Layerwise Logit Trajectories [1.4610038284393168]
  視覚変換器(ViT)の誤差予測に関する研究 大規模言語モデルにおける内信号幻覚検出の動機付けにより、類似の深度信号がViTに存在するかどうかを考察する。 中間層に軽量な線形ヘッドを付加することにより、予測クラスのロジットとトップK競合の両方をキャプチャする最後のL層から特徴を抽出する。 これらの特徴に基づいて訓練された線形プローブは、エラーインジケータを予測する。
  論文  参考訳（メタデータ） (2026-04-12T13:43:40Z)
• MedObvious: Exposing the Medical Moravec's Paradox in VLMs via Clinical Triage [20.835664121303534]
  ビジョン言語モデル(VLM)は、医療報告生成や視覚的質問応答といったタスクにますます使われています。 臨床実践では、解釈は診断前の衛生検査から始まる。 既存のベンチマークでは、このステップが解決されたと仮定しており、致命的な障害モードを見逃している。 我々は1,880タスクのベンチマークであるMedObviousを導入し、入力検証をセットレベルの一貫性機能として分離する。
  論文  参考訳（メタデータ） (2026-03-24T17:59:54Z)
• DiffVP: Differential Visual Semantic Prompting for LLM-Based CT Report Generation [18.257492970454898]
  DiffVP (differial Visual Prompting) を提案する。 2つの大規模ベンチマークにおいて、DiffVPは従来手法より一貫して優れ、平均のBLEU-1-4を+10.98と+4.36で改善した。
  論文  参考訳（メタデータ） (2026-03-18T13:38:26Z)
• When Visual Evidence is Ambiguous: Pareidolia as a Diagnostic Probe for Vision Models [0.5461938536945722]
  非顔オブジェクトにおける顔の知覚である顔パリドリアは、この行動の制御されたプローブを提供する。 本研究では,顔パレドリア画像における検出,局所化,不確実性,偏見,難易度,感情を解析する表現レベル診断フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-04T12:33:36Z)
• Hallucination Begins Where Saliency Drops [18.189047289404325]
  幻覚は、前の出力トークンが次のトークンの予測に対して低い正当性を示すときにしばしば起こる。 LVLMs-Saliencyは,各出力トークンの視覚的グラウンドリング強度を定量化する,勾配認識型診断フレームワークである。 本手法は, 流速とタスク性能を保ちながら幻覚率を大幅に低減し, 堅牢かつ解釈可能なソリューションを提供する。
  論文  参考訳（メタデータ） (2026-01-28T05:50:52Z)
• ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
  本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。 具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。 本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
  論文  参考訳（メタデータ） (2026-01-23T11:31:07Z)
• Suppressing VLM Hallucinations with Spectral Representation Filtering [49.52703800684483]
  視覚言語モデル(VLM)は、画像に存在しないオブジェクト、属性、関係の記述の形で幻覚をしばしば生成する。 本稿では,モデル表現の共分散構造を解析し,補正することにより,このような幻覚を抑制するための軽量な訓練不要な手法であるスペクトル表現フィルタ(SRF)を提案する。
  論文  参考訳（メタデータ） (2025-11-15T13:49:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。