論文の概要: Score-Control for Hallucination Reduction in Diffusion Models
- arxiv url: http://arxiv.org/abs/2606.00377v1
- Date: Fri, 29 May 2026 21:35:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.370956
- Title: Score-Control for Hallucination Reduction in Diffusion Models
- Title(参考訳): 拡散モデルにおける幻覚低減のためのスコア制御
- Abstract要約: 拡散モデルは、現代の生成AIのバックボーンとして現れ、視覚、言語、オーディオ、その他のモダリティの進歩に力を入れている。
彼らの成功にもかかわらず、彼らは幻覚に悩まされ、真のデータ分布の支持外にある不可解なサンプルに悩まされる。
まず, 画像生成拡散モデルにおいて, スコアの滑らかさが幻覚を引き起こすという仮説を実証的に検証し, 密度に基づく視点を提供する。
そこで本研究では,スコアジャコビアンを制御する可変誘導スコア変調(VSM)戦略を導入し,スコアのスムーズさを低減し,幻覚を減少させる基底真理スコアの近似性を向上する。
- 参考スコア(独自算出の注目度): 5.244752390553863
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models have emerged as the backbone of modern generative AI, powering advances in vision, language, audio and other modalities. Despite their success, they suffer from hallucinations, implausible samples that lie outside the support of true data distribution, which degrade reliability and trust. In this work, we first empirically confirm previously proposed hypothesis that score smoothness causes hallucinations in Image Generation diffusion models and provide a density-based perspective. We further formalize this notion by linking the hallucinations probability mass to lipschitz constant of the learned score function. Motivated by this, we introduce a Variance-Guided Score Modulation (VSM) strategy that controls the score Jacobian, in turn reducing score smoothness and better approximating the ground truth score that decreases hallucinations. Empirical results on synthetic and real-world datasets demonstrate that our approach reduces hallucinations (up to ~25%) while maintaining high fidelity and diversity, providing a principled step toward more reliable diffusion-based image generation. We also propose two benchmark datasets with extreme semantic variation for systematic hallucination evaluation. Code and Datasets are publicly available at https://github.com/bhosalems/VSM.
- Abstract(参考訳): 拡散モデルは、現代の生成AIのバックボーンとして現れ、視覚、言語、オーディオ、その他のモダリティの進歩に力を入れている。
彼らの成功にもかかわらず、彼らは幻覚に悩まされ、真のデータ配布のサポート外にある、信頼と信頼を損なう。
本研究では,画像生成拡散モデルにおいて,スムーズさが幻覚を引き起こすという従来提案された仮説を実証的に検証し,密度に基づく視点を提供する。
学習したスコア関数のリプシッツ定数に幻覚確率質量をリンクさせることにより、この概念をさらに公式化する。
そこで本研究では,スコアジャコビアンを制御する可変誘導スコア変調(VSM)戦略を導入し,スコアのスムーズさを低減し,幻覚を減少させる基底真理スコアの近似性を向上する。
合成および実世界のデータセットに対する実証実験の結果、我々の手法は高い忠実度と多様性を維持しながら幻覚を最大25%削減し、より信頼性の高い拡散ベースの画像生成に向けた原則的なステップを提供する。
また,系統的な幻覚評価のために,極端な意味的変動を伴う2つのベンチマークデータセットを提案する。
コードとデータセットはhttps://github.com/bhosalems/VSM.comで公開されている。
関連論文リスト
- VCE: A zero-cost hallucination mitigation method of LVLMs via visual contrastive editing [70.82867621856968]
大きな視覚言語モデル(LVLM)は、しばしば物体幻覚(OH)に悩まされる
近年の研究では、幻覚の問題は言語の先行に起因している可能性が示唆されている。
本稿では視覚コントラスト編集(VCE)を提案する。
論文 参考訳(メタデータ) (2026-04-21T12:40:07Z) - Lost in Diffusion: Uncovering Hallucination Patterns and Failure Modes in Diffusion Large Language Models [10.020835642521897]
本研究は,dLLMの幻覚パターンを評価するための最初の制御された比較研究である。
以上の結果から,現在のdLLMは,建築・規模・事前学習重量に制御されるARよりも幻覚の確率が高いことが示唆された。
以上の結果から,dLLMは一般タスクにおける性能ギャップを狭めたが,その異なる幻覚機構は信頼性をモデル化する上で重要な課題であることが示された。
論文 参考訳(メタデータ) (2026-04-12T09:59:41Z) - Laplacian Score Sharpening for Mitigating Hallucination in Diffusion Models [4.878587790802629]
本研究では,モードのシャープネスを低減するために,スコアのラプラシアン(あるいは幻覚)を利用する推論中のスコア関数に対するポストホック調整を提案する。
この補正により,おもちゃの1D/2D分布と高次元画像データセットをまたいだ幻覚標本の速度が大幅に低下することを示す。
論文 参考訳(メタデータ) (2025-11-10T14:16:31Z) - Counting Hallucinations in Diffusion Models [34.45858211220468]
拡散確率モデル(DPM)は、画像やビデオ合成などの生成タスクにおいて顕著な進歩を見せている。
彼らはしばしば、現実世界の知識と矛盾する幻覚的なサンプル(幻覚)を生産する。
その流行にもかかわらず、そのような幻覚を体系的に定量化するための実現可能な方法論の欠如は進歩を妨げている。
論文 参考訳(メタデータ) (2025-10-15T01:48:04Z) - Mitigating Diffusion Model Hallucinations with Dynamic Guidance [75.90458880492054]
拡散モデルはしばしば、真のデータ分布の支持外にある構造上の矛盾のある幻覚サンプルを生成する。
本稿では,事前に決められた方向に沿ってのみスコア関数を選択的に研ぎ澄まし,幻覚を緩和する動的誘導法を提案する。
私たちの知る限り、これはポストホックフィルタリングではなく、世代毎の幻覚に対処する最初のアプローチである。
論文 参考訳(メタデータ) (2025-10-06T20:31:13Z) - Counterfactual Probing for Hallucination Detection and Mitigation in Large Language Models [0.0]
本研究では,大規模言語モデルにおける幻覚の検出と緩和のための新しいアプローチである,対物探索を提案する。
提案手法は, 疑わしいが微妙な事実誤りを含む反事実文を動的に生成し, これらの摂動に対するモデルの感度を評価する。
論文 参考訳(メタデータ) (2025-08-03T17:29:48Z) - Mitigating Object Hallucinations via Sentence-Level Early Intervention [10.642552315531404]
マルチモーダルな大言語モデル(MLLM)は、多モーダルな理解に革命をもたらしたが、幻覚と闘い続けている。
人間のアノテーションに依存しないフレームワークであるSENTINELを提案する。
文レベルの早期iNtervention through IN- domain preference Learningは、オリジナルのモデルと比較して幻覚を90%以上減らすことができる。
論文 参考訳(メタデータ) (2025-07-16T17:55:43Z) - Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。
本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
論文 参考訳(メタデータ) (2025-04-17T17:59:22Z) - Understanding Hallucinations in Diffusion Models through Mode Interpolation [89.10226585746848]
拡散モデルにおける特定の障害モードについて検討し、これをモードモードと呼ぶ。
トレーニングセット内のデータモード間の拡散モデルを円滑に"補間"し,元のトレーニング分布の支持から完全に外れたサンプルを生成する。
幻覚が、かつて存在しなかった形の組み合わせをいかに生み出すかを示す。
論文 参考訳(メタデータ) (2024-06-13T17:43:41Z) - Alleviating Hallucinations of Large Language Models through Induced
Hallucinations [67.35512483340837]
大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。
幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
論文 参考訳(メタデータ) (2023-12-25T12:32:49Z) - HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
機械生成データに固有の幻覚は未発見のままである。
本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。
LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
論文 参考訳(メタデータ) (2023-11-22T04:52:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。