論文の概要: InfiHall-Bench: A Benchmark for Hallucination Evaluation in Autoregressive Text-to-Image Generation
- arxiv url: http://arxiv.org/abs/2611.18053v1
- Date: Fri, 13 Nov 2026 11:27:36 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:31:07.514193
- Title: InfiHall-Bench: A Benchmark for Hallucination Evaluation in Autoregressive Text-to-Image Generation
- Title(参考訳): InfiHall-Bench: 自己回帰テキスト・画像生成における幻覚評価ベンチマーク
- Abstract要約: InfiHall-Benchは5つの基礎的かつ視覚的に検証可能なスキルを体系的に構成した411プロンプトのベンチマークである。
視覚的自己回帰モデルにおける幻覚は、スケールワイドな持続パターンを示す。
本稿では,各自己回帰尺度における目標視覚トークンの予測信頼度を推定する信頼感型幻覚緩和(CMHM)を提案する。
- 参考スコア(独自算出の注目度): 9.965696579641294
- License:
- Abstract: Hallucination benchmarks for text-to-image generation are predominantly designed around diffusion models, limiting their diagnostic value for visual autoregressive (VAR) models and the development of mitigation methods. We identify two limitations in existing prompt construction paradigms: many prompts are no longer challenging for modern generators, while category-based construction relies on recurring object-attribute-relation templates and rarely tests interactions among multiple visual requirements within a single image. We introduce InfiHall-Bench, a controlled benchmark of 411 prompts constructed by systematically composing five foundational and visually verifiable skills: attribute binding, spatial relation, action relation, part consistency, and scene consistency. Each prompt covers 4.05 annotated skills on average, enabling the evaluation of hallucinations under diverse combinations of visual requirements. Using this benchmark, we find that hallucinations in VAR models exhibit a scale-wise persistence pattern: semantic errors can emerge at different autoregressive scales and are rarely corrected by subsequent fine-scale steps. Motivated by this observation, we propose Confidence-Masked Hallucination Mitigation (CMHM), which estimates the prediction confidence of target visual tokens at each autoregressive scale during teacher-forced fine-tuning. CMHM downweights reliably predicted tokens, allowing optimization to focus on uncertain predictions across scales. Experiments show that InfiHall-Bench distinguishes models that existing compositional benchmarks rate as comparable, while CMHM consistently outperforms uniform LoRA fine-tuning for VAR-based text-to-image generation.
- Abstract(参考訳): テキスト・画像生成のための幻覚ベンチマークは、主に拡散モデルに基づいて設計されており、視覚自己回帰(VAR)モデルに対する診断値の制限と緩和法の開発が行われている。
既存のプロンプト構築パラダイムには2つの制限がある: 多くのプロンプトは現代のジェネレータではもはや難しいものではなく、カテゴリベースの構成は繰り返し発生するオブジェクト-属性-リレーションテンプレートに依存し、単一の画像内の複数の視覚的要求間の相互作用をテストすることはめったにない。
InfiHall-Benchは,属性バインディング,空間関係,アクション関係,部分整合性,シーン整合性という5つの基本的かつ視覚的に検証可能なスキルを体系的に構成した411プロンプトの制御ベンチマークである。
各プロンプトは平均4.05の注釈付きスキルをカバーし、視覚的要求の多様な組み合わせによる幻覚の評価を可能にする。
このベンチマークを用いて、VARモデルの幻覚はスケールワイド永続パターンを示し、セマンティックエラーは異なる自己回帰スケールで発生し、その後の細かなステップで修正されることは滅多にない。
本研究の目的は,教師による微調整における自己回帰尺度毎の視覚的トークンの予測信頼度を推定する信頼感型幻覚緩和(CMHM)を提案することである。
CMHMのダウンウェイトはトークンを確実に予測し、スケールにわたって不確実な予測に集中することができる。
実験の結果、InfiHall-Benchは既存のコンポジションベンチマークが同等であるモデルと区別し、CMHMはVARベースのテキスト・画像生成におけるLoRAの微調整を一貫して上回っていることがわかった。
関連論文リスト
- Unified Hallucination Fuzzing for Multimodal Large Language Models [44.4785399881315]
マルチモーダル大言語モデル(MLLM)に対する幻覚は依然として永続的な課題である
既存の評価は、主に静的なベンチマークに基づいており、狭い分類範囲と急速な性能飽和に悩まされている。
本稿では,総合的なベンチマークと自己進化型ストレステストを統合するシステム評価フレームワークを提案する。
論文 参考訳(メタデータ) (2026-07-15T17:57:37Z) - MM-Snowball: Evaluating and Mitigating Hallucination Snowballing in Multimodal Multi-Turn Dialogue [98.58433916474472]
MM-Snowballは,対話内における幻覚雪球の診断のための最初のベンチマークである。
本稿では,この劣化に対処するために,コンフリクト・アウェア・ビジュアル・リクティフィケーション(CAVR)を提案する。
論文 参考訳(メタデータ) (2026-05-30T08:53:34Z) - MSVBench: Towards Human-Level Evaluation of Multi-Shot Video Generation [48.84450712826316]
MSVBenchは、マルチショットビデオ生成に適した階層的なスクリプトと参照イメージを備えた最初の包括的なベンチマークである。
本稿では,大規模マルチモーダルモデルの高レベルな意味推論と,ドメイン固有のエキスパートモデルの微粒な知覚的厳密さを相乗化するハイブリッド評価フレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-27T12:26:34Z) - Hallucination Benchmark for Speech Foundation Models [33.92968426403491]
自動音声認識(ASR)システムにおける幻覚とは、基礎となる音響入力(すなわち、音声信号)とは全く無関係な神経性ASRモデルによって生成される流動的でコヒーレントな転写を指す。
この明らかな一貫性は、その後の処理段階を誤解させ、特に医療や法のような重要な領域において重大なリスクをもたらす可能性がある。
本稿では,ASRにおける幻覚現象を,語彙,音声,形態,意味の4つの相補軸に沿って体系的に分類し,定量化する最初のベンチマークフレームワークであるSHALLOWを紹介する。
論文 参考訳(メタデータ) (2025-10-18T16:26:16Z) - VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。
既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。
対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
論文 参考訳(メタデータ) (2024-04-22T04:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。