Fugu-MT 論文翻訳(概要): What Makes LVLMs Hallucinate Less? Unveiling the Architectural Factors Behind Hallucination Robustness

論文の概要: What Makes LVLMs Hallucinate Less? Unveiling the Architectural Factors Behind Hallucination Robustness

arxiv url: http://arxiv.org/abs/2605.30911v1
Date: Fri, 29 May 2026 06:47:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-01 20:56:50.433028
Title: What Makes LVLMs Hallucinate Less? Unveiling the Architectural Factors Behind Hallucination Robustness
Title（参考訳）: LVLMは幻覚を弱めるのか? 幻覚のロバスト性の背後にある構造的要因を解明する
Abstract要約: 幻覚は、LVLM(Large Vision-Language Models)の信頼性を損なう重要な課題の1つである。幻覚は基本的にモデルアーキテクチャの設計方法に由来すると我々は主張する。本研究は,建築レベルの設計を幻覚に結びつける最初の体系的な研究であり,信頼性と効率的なLVLMの開発のための実践的ガイダンスを提供する。
参考スコア（独自算出の注目度）: 33.32946342654949
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Hallucination remains one of the key challenges undermining the reliability of Large Vision-Language Models (LVLMs). But what makes an LVLM hallucinate less? Many existing efforts focus on improving internal components of the model. We argue that hallucination fundamentally stems from how the model architecture is designed. To investigate this, we factor the architecture design into three dimensions: Linguistic Foundation (LF), Visual Representation (VR), and Semantic Alignment (SA), and categorize hallucinations into Co-occurrence, Similarity, and previously overlooked Uncertainty types. Building on this formulation, we propose CoSimUE, a benchmark that creates fine-grained hallucination scenarios through controlled textual perturbations and random perturbations, enabling mapping between design choices and hallucination behaviors. Experiments across 7 design aspects show that: 1) the widely emphasized scaling of model parameters has only limited impact on reducing all three types of hallucinations; 2) larger and better-trained language foundations can reduce co-occurrence hallucinations; 3) stronger visual encoders and higher resolutions mitigate similarity errors; 4) effective alignment strategies alleviate uncertainty hallucinations. 5) Furthermore, cross-dimensional analysis reveals that jointly enhancing visual fidelity and alignment quality yields the most comprehensive improvements. This study provides the first systematic exploration linking architecture-level design to hallucination robustness, offering practical guidance for developing reliable and efficient LVLMs.
Abstract（参考訳）: 幻覚は、LVLM(Large Vision-Language Models)の信頼性を損なう重要な課題の1つである。しかし、LVLM幻覚が減る理由は何だろうか? 既存の取り組みの多くは、モデルの内部コンポーネントの改善に重点を置いている。幻覚は基本的にモデルアーキテクチャの設計方法に由来すると我々は主張する。そこで本研究では,言語基盤(LF),視覚表現(VR),セマンティックアライメント(SA)の3次元に分類し,幻覚を共起・類似・従来見過ごされていた不確かさの3種類に分類する。この定式化に基づいて、制御されたテキストの摂動とランダムな摂動により、きめ細かい幻覚シナリオを生成するベンチマークであるCoSimUEを提案し、設計選択と幻覚行動のマッピングを可能にする。 7つの設計側面での実験は、こう示しています。 1) モデルパラメータのスケーリングが広く強調されていることは、3種類の幻覚を減らすことに限られている。 2) より大きく、より訓練された言語基盤は、共起幻覚を減らすことができる。 3) より強力な視覚エンコーダ及び高分解能により類似性エラーが軽減される。 4) 効果的なアライメント戦略は、不確実性幻覚を軽減する。 5) 視覚的忠実度とアライメント品質を両立させることにより, より包括的改善が得られた。本研究は,建築レベルの設計を幻覚の堅牢性に結びつける最初の体系的な調査であり,信頼性と効率的なLVLMの開発のための実践的ガイダンスを提供する。

関連論文リスト

When Prompts Override Vision: Prompt-Induced Hallucinations in LVLMs [54.411658510110215]
本研究では,異なる要因が幻覚を誘発する程度をよりよく理解するために,HauScopeを提案する。 HalluVL-DPOは、市販のLVLMをより視覚的な応答に向けて微調整するためのフレームワークである。
論文参考訳（メタデータ） (2026-04-23T17:54:36Z)
CRoPS: A Training-Free Hallucination Mitigation Framework for Vision-Language Models [3.0991186209192794]
幻覚コンテンツは、現実世界での使用において信頼性を損なう。新しいモデルは、キーテキストトークンを選択的に削除することで幻覚効果をキャプチャする。一般化されたコントラストデコーディングは、多様な幻覚源を表現するために複数の幻覚モデルを統合する。
論文参考訳（メタデータ） (2026-01-02T11:39:00Z)
Two Causes, Not One: Rethinking Omission and Fabrication Hallucinations in MLLMs [31.601057368065877]
既存の手法は、省略と製造幻覚が共通の原因を共有するという欠点のある仮定に基づいており、しばしば省略を減らし、より多くの製造を誘発する。本研究は,視覚的特徴を言語表現にマッピングする場合に,排他的幻覚が不十分な自信から生じることを示すことによって,この見解を覆すものである。本研究では,物体の存在や不在を視覚的証拠がどのように推測するかを明らかにする概念的枠組みである視覚意味的注意力場を提案する。
論文参考訳（メタデータ） (2025-08-30T05:47:41Z)
SHALE: A Scalable Benchmark for Fine-grained Hallucination Evaluation in LVLMs [52.03164192840023]
LVLM(Large Vision-Language Models)は、いまだ幻覚に悩まされている。本稿では,スケーラブルで制御可能で多様な評価データを生成する自動データ構築パイプラインを提案する。我々は,忠実度と事実性幻覚の両方を評価するためのベンチマークであるSHALEを構築した。
論文参考訳（メタデータ） (2025-08-13T07:58:01Z)
HalluLens: LLM Hallucination Benchmark [49.170128733508335]
大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
論文参考訳（メタデータ） (2025-04-24T13:40:27Z)
Who Brings the Frisbee: Probing Hidden Hallucination Factors in Large Vision-Language Model via Causality Analysis [14.033320167387194]
現実の応用における大きな課題は幻覚であり、LVLMは存在しない視覚要素を生成し、ユーザの信頼を損なう。我々は、オブジェクト、コンテキスト、セマンティックフォアグラウンド・バックグラウンド構造といった隠れた要因が幻覚を引き起こすという仮説を立てた。画像・テキスト・プロンプト・ネットワーク・サリエンシの因果関係を解析することにより,これらの要因をブロックするための介入を系統的に検討する。
論文参考訳（メタデータ） (2024-12-04T01:23:57Z)
Unified Triplet-Level Hallucination Evaluation for Large Vision-Language Models [22.996176483599868]
本研究では,LVLM(Large Vision-Language Models)における対象と関係幻覚を同時に測定するフレームワークを開発する。本稿では,トリプルトレベルの幻覚評価ベンチマークTri-HEを紹介する。
論文参考訳（メタデータ） (2024-10-30T15:25:06Z)
VideoHallucer: Evaluating Intrinsic and Extrinsic Hallucinations in Large Video-Language Models [59.05674402770661]
本稿では,大規模ビデオ言語モデル(LVLM)における幻覚検出のための最初の総合的ベンチマークであるVideoHallucerを紹介する。 VideoHallucerは幻覚を2つの主なタイプに分類する。
論文参考訳（メタデータ） (2024-06-24T06:21:59Z)
AutoHallusion: Automatic Generation of Hallucination Benchmarks for Vision-Language Models [91.78328878860003]
視覚言語モデル(LVLM)は幻覚の傾向が強い。ベンチマークは多くの場合、障害パターンが一般化できない手作りのコーナーケースに依存します。最初の自動ベンチマーク生成手法であるAutoHallusionを開発した。
論文参考訳（メタデータ） (2024-06-16T11:44:43Z)
Alleviating Hallucinations in Large Vision-Language Models through Hallucination-Induced Optimization [123.54980913741828]
大規模ビジュアル言語モデル(LVLM)は、マルチモーダルデータの理解において、例外的な能力を示した。彼らは必然的に幻覚に悩まされ、生成されたテキストと対応するイメージを切断する。現在の視覚的コントラスト復号法のほとんどは、視覚的不確実性情報を導入して幻覚を緩和しようとするものである。しかし、彼らは幻覚トークンを正確に誘導するのに苦労し、幻覚を緩和する効果を著しく制限した。
論文参考訳（メタデータ） (2024-05-24T08:46:31Z)
Plausible May Not Be Faithful: Probing Object Hallucination in Vision-Language Pre-training [66.0036211069513]
大規模視覚言語事前学習モデルは、テキストを生成する際に、存在しない視覚オブジェクトを幻覚させる傾向がある。標準メトリクスでより良いスコアを得るモデルは、オブジェクトをより頻繁に幻覚させる可能性があることを示す。驚いたことに、パッチベースの機能が最も良く、より小さなパッチ解決は、オブジェクト幻覚の非自明な減少をもたらす。
論文参考訳（メタデータ） (2022-10-14T10:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。