論文の概要: Unified Hallucination Fuzzing for Multimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2608.07525v1
- Date: Wed, 15 Jul 2026 17:57:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 01:32:04.546697
- Title: Unified Hallucination Fuzzing for Multimodal Large Language Models
- Title（参考訳）: マルチモーダル大言語モデルのための統一幻覚ファジィ
- Abstract要約: マルチモーダル大言語モデル(MLLM)に対する幻覚は依然として永続的な課題である
既存の評価は、主に静的なベンチマークに基づいており、狭い分類範囲と急速な性能飽和に悩まされている。
本稿では,総合的なベンチマークと自己進化型ストレステストを統合するシステム評価フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 44.4785399881315
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hallucination remains a persistent challenge for Multimodal Large Language Models (MLLMs), severely limiting their reliability in high-stakes applications. Existing evaluations, predominantly based on static benchmarks, suffer from narrow taxonomical coverage and rapid performance saturation, failing to reflect model robustness in evolving real-world scenarios. To bridge this gap, we present a systematic evaluation framework integrating a comprehensive benchmark with self-evolving stress testing. First, we introduce UniHall, a fine-grained dataset grounded in a unified taxonomy spanning Object, Instruction, and Knowledge dimensions. Second, to address benchmark saturation, we propose Self-Adaptive Multimodal Fuzzing (SAMF), a self-adaptive framework that employs evolutionary mutation strategies to explore the boundaries of model hallucinations. Crucially, to ensure reliable assessment of dynamic inputs, SAMF incorporates a structured metric suite driven by an ensemble of multi-modal oracles. Our extensive experiments reveal that state-of-the-art MLLMs exhibit significant performance degradation under fuzzing compared to conventional settings, exposing a dissociation between reasoning capabilities and factual grounding. Furthermore, we identify a helpfulness-hallucination trade-off, where reinforcement learning alignment inadvertently exacerbates sycophancy in instruction-following tasks. The framework, code and benchmark are available at https://github.com/LanceZPF/EvalHall.
- Abstract（参考訳）: 幻覚は、マルチモーダル大規模言語モデル(MLLM)にとって永続的な課題であり、高い精度のアプリケーションでの信頼性を著しく制限している。
既存の評価は、主に静的なベンチマークに基づいており、狭い分類範囲と急速な性能飽和に悩まされており、現実のシナリオの進化においてモデルの堅牢性を反映していない。
このギャップを埋めるために、総合的なベンチマークと自己進化型ストレステストを統合する体系的な評価フレームワークを提案する。
まず、UniHallを紹介します。それは、オブジェクト、インストラクション、知識の次元にまたがる統一された分類学を基盤とした、きめ細かいデータセットです。
次に, 自己適応型マルチモーダルファジング (SAMF) を提案し, モデル幻覚の境界を探索するために, 進化的突然変異戦略を用いた自己適応型フレームワークを提案する。
重要なことは、動的入力の信頼性を保証するため、SAMFはマルチモーダルオラクルのアンサンブルによって駆動される構造化されたメートル法スイートを組み込んでいる。
従来よりファジィ化が進んだMLLMは, ファジィ化による性能劣化が顕著であり, 推論能力と現実的グラウンド化の解離が明らかとなった。
さらに、強化学習アライメントが、命令追従タスクにおいて、必然的にシコファンシーを悪化させる、有用なハロシン化トレードオフを特定する。
フレームワーク、コード、ベンチマークはhttps://github.com/LanceZPF/EvalHall.orgで公開されている。
関連論文リスト
- AnE: Pushing the Reasoning Frontier of Multimodal LLMs via Anchor Evolution [61.593935260052795]
Supervised Fine-Tuning (SFT) とReinforcement Learning (RL) による後学習は多モーダル大規模言語モデル(MLLM)における推論の強化に不可欠である
既存のパラダイムは、静的データの制限により、しばしばパフォーマンスのボトルネックに達する。
我々は,真理に順応したデータキュレーションとモデル進化を統合する新しいパラダイムであるアンカー進化(AnE)を提案する。
論文 参考訳（メタデータ） (2026-05-25T08:26:34Z) - LIMSSR: LLM-Driven Sequence-to-Score Reasoning under Training-Time Incomplete Multimodal Observations [53.20772659095155]
本稿では、トレーニング時不完全観察において、より困難なIMLの設定に取り組む。
本稿では,この課題を条件付きシーケンス推論タスクとして再構成したLIMSSR(LLM-Driven Incomplete Multimodal Sequence-to-Score Reasoning)を提案する。
論文 参考訳（メタデータ） (2026-05-01T06:11:42Z) - Diversity in Large Language Models under Supervised Fine-Tuning [15.119045051735633]
Supervised Fine-Tuning (SFT) は、Large Language Models (LLM) とユーザ意図の整合に不可欠であるが、生成的多様性を抑制すると考えられている。
本研究では,既存の知識を忘れることと,微調整データセット内の低周波パターンを忘れることの2つの主要な要因について考察する。
評価の結果,SFT後では発生が狭まることが確認され,この効果を説明する仮説が強化された。
論文 参考訳（メタデータ） (2026-04-30T20:20:59Z) - UniICL: Systematizing Unified Multimodal In-context Learning through a Capability-Oriented Taxonomy [99.95663439922937]
文脈内学習の有効性は、しばしば単調でタスクに依存しない。
実証の機能的役割を分類する6段階の能力指向分類法を導入する。
大規模コーパスであるUniICL-760Kを構築する。
アーキテクチャの介入として、コンテキスト適応型プロトタイプモジュレータを提案する。
論文 参考訳（メタデータ） (2026-03-25T18:09:33Z) - PENDULUM: A Benchmark for Assessing Sycophancy in Multimodal Large Language Models [43.767942065379366]
サイコファシー(英: Sycophancy)は、AIモデルが実際の正確さや視覚的証拠の矛盾を犠牲にしてユーザー入力に同意する傾向である。
約2000組の視覚質問応答対からなる総合評価ベンチマーク「textitPENDULUM」を導入する。
本研究は, モデルロバスト性およびサイコファンおよび幻覚行動に対する感受性の顕著な変動を観察する。
論文 参考訳（メタデータ） (2025-12-22T12:49:12Z) - Beyond Single Models: Mitigating Multimodal Hallucinations via Adaptive Token Ensemble Decoding [41.828387997311474]
LVLM(Large Vision-Language Models)は画像キャプションや視覚的質問応答といったマルチモーダルタスクにおいて,近年顕著な成果を上げている。
それらは、まだ存在しない、または誤認されたオブジェクトの記述を生成する、オブジェクト幻覚の傾向にある。
本稿では,複数のLVLMからの予測を集約することで幻覚を緩和する,学習不要でトークンレベルのアンサンブルフレームワークであるAdaptive Token Ensemble Decoding (ated)を提案する。
論文 参考訳（メタデータ） (2025-10-21T06:11:24Z) - A Unified Virtual Mixture-of-Experts Framework:Enhanced Inference and Hallucination Mitigation in Single-Model System [9.764336669208394]
GPTやBERTのような生成モデルは、テキスト生成や要約といったタスクのパフォーマンスを大幅に改善した。
しかし、「モデルが非現実的または誤解を招くコンテンツを生成する場所」という幻覚は、特に小規模アーキテクチャでは問題となる。
本稿では,単一のQwen 1.5 0.5Bモデルにおいて,推論性能を高め,幻覚を緩和する仮想ミックス・オブ・エクササイズ(MoE)融合戦略を提案する。
論文 参考訳（メタデータ） (2025-04-01T11:38:01Z) - MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。
MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。
インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
論文 参考訳（メタデータ） (2024-10-14T04:15:00Z) - Sycophancy in Vision-Language Models: A Systematic Analysis and an Inference-Time Mitigation Framework [18.54098084470481]
本稿では,視覚言語ベンチマーク間のサイコフィナンシーを分析し,推論時間緩和フレームワークを提案する。
我々のフレームワークは、中立なプロンプトの性能を維持しながら、評価されたすべてのモデルでサイコフィナンシーを効果的に軽減します。
論文 参考訳（メタデータ） (2024-08-21T01:03:21Z) - VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。
既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。
対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
論文 参考訳（メタデータ） (2024-04-22T04:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。