論文の概要: Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion

• arxiv url: http://arxiv.org/abs/2505.20053v1
• Date: Mon, 26 May 2025 14:42:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.520149
• Title: Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion
• Title（参考訳）: テキスト・画像拡散におけるマルチモーダルLCMガイドによる意味的補正
• Authors: Zheqi Lv, Junhao Chen, Qi Tian, Keting Yin, Shengyu Zhang, Fei Wu,
• Abstract要約: MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。 中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。 大規模な実験ではPPADの大幅な改善が示されている。
• 参考スコア（独自算出の注目度）: 52.315729095824906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have become the mainstream architecture for text-to-image generation, achieving remarkable progress in visual quality and prompt controllability. However, current inference pipelines generally lack interpretable semantic supervision and correction mechanisms throughout the denoising process. Most existing approaches rely solely on post-hoc scoring of the final image, prompt filtering, or heuristic resampling strategies-making them ineffective in providing actionable guidance for correcting the generative trajectory. As a result, models often suffer from object confusion, spatial errors, inaccurate counts, and missing semantic elements, severely compromising prompt-image alignment and image quality. To tackle these challenges, we propose MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD), a novel framework that, for the first time, introduces a Multimodal Large Language Model (MLLM) as a semantic observer during inference. PPAD performs real-time analysis on intermediate generations, identifies latent semantic inconsistencies, and translates feedback into controllable signals that actively guide the remaining denoising steps. The framework supports both inference-only and training-enhanced settings, and performs semantic correction at only extremely few diffusion steps, offering strong generality and scalability. Extensive experiments demonstrate PPAD's significant improvements.
• Abstract（参考訳）: 拡散モデルはテキスト・画像生成の主流アーキテクチャとなり、視覚的品質が著しく向上し、制御性も向上した。 しかし、現在の推論パイプラインは一般に、認知過程全体を通して解釈可能な意味的監督と修正機構を欠いている。 既存のアプローチのほとんどは、最終画像のポストホックスコア、迅速なフィルタリング、あるいはヒューリスティックな再サンプリング戦略にのみ依存している。 その結果、モデルはしばしばオブジェクトの混乱、空間的エラー、不正確な数、意味的要素の欠如に悩まされ、即時画像のアライメントと画質が著しく低下する。 これらの課題に対処するために,MLLMのセマンティック・コレクテッド・ピン・ポン・アヘッド拡散(PPAD)を提案する。 PPADは、中間世代でリアルタイム解析を行い、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。 このフレームワークは推論のみとトレーニングに強化された設定の両方をサポートし、非常に少ない拡散ステップで意味的な修正を行い、強力な汎用性とスケーラビリティを提供する。 大規模な実験ではPPADの大幅な改善が示されている。

関連論文リスト

• Look Carefully: Adaptive Visual Reinforcements in Multimodal Large Language Models for Hallucination Mitigation [51.743225614196774]
  マルチモーダル大言語モデル (MLLM) は視覚言語推論において顕著な進歩を遂げている。 彼らは幻覚に弱いままであり、そこで生成されたコンテンツは視覚的証拠から逸脱する。 近年の視覚強調法では、復号時に視覚トークンを補強することでこの問題に対処しようとしている。 本稿では,MLLMのトレーニングフリーフレームワークであるAdaptive Visual Reinforcement (AIR)を提案する。
  論文  参考訳（メタデータ） (2026-02-27T14:18:51Z)
• Steering and Rectifying Latent Representation Manifolds in Frozen Multi-modal LLMs for Video Anomaly Detection [52.5174167737992]
  ビデオ異常検出(VAD)は、ビデオ内の異常事象を特定することを目的としている。 本稿では,MLLMに基づくVADを受動的に読み上げから内部表現を積極的に操り,修正するSteerVADを提案する。 本手法は、トレーニングデータの1%しか必要としないチューニングフリーアプローチにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-02-27T13:48:50Z)
• Unpaired Image-to-Image Translation via a Self-Supervised Semantic Bridge [59.247871132422006]
  逆拡散法と拡散反転法は、未ペア画像から画像への変換を先進的に進めているが、それぞれが鍵となる制限に直面している。 本稿では,外部意味を拡散ブリッジモデルに統合する汎用フレームワークであるSelf-Supervised Semantic Bridge (SSB)を提案する。 我々のキーとなる考え方は、自己教師付き視覚エンコーダを活用して、外観変化に不変な表現を学習するが、幾何学的構造を捉えることである。
  論文  参考訳（メタデータ） (2026-02-18T18:05:00Z)
• Training-Free Representation Guidance for Diffusion Models with a Representation Alignment Projector [14.027059904924135]
  本稿では,プロジェクタによって予測される表現を中間サンプリングステップに注入するアライメントアライメントプロジェクタを提案する。 SiTとREPAの実験は、クラス条件の画像ネット合成において顕著に改善されている。 提案手法は,SiTモデルに適用した場合の代表的なガイダンスより優れる。
  論文  参考訳（メタデータ） (2026-01-30T02:29:54Z)
• INSIGHT: An Interpretable Neural Vision-Language Framework for Reasoning of Generative Artifacts [0.0]
  現在の法医学システムは、現実世界の条件下で急速に低下している。 ほとんどの検出器は不透明物として機能し、なぜ画像が合成物としてフラグ付けされるのかについての知見はほとんど得られない。 本稿では,AI生成画像のロバスト検出と透過的説明のための統合フレームワークであるINSIGHTを紹介する。
  論文  参考訳（メタデータ） (2025-11-27T11:43:50Z)
• DeLeaker: Dynamic Inference-Time Reweighting For Semantic Leakage Mitigation in Text-to-Image Models [55.30555646945055]
  テキスト・ツー・イメージ(T2I)モデルはセマンティック・リークに対して脆弱である。 DeLeakerは、モデルのアテンションマップに直接介入することで、漏洩を緩和する軽量なアプローチである。 SLIMはセマンティックリークに特化した最初のデータセットである。
  論文  参考訳（メタデータ） (2025-10-16T17:39:21Z)
• Cross-Subject Mind Decoding from Inaccurate Representations [42.19569985029642]
  正確なデコード表現予測のためのBi Autoencoder Intertwiningフレームワークを提案する。 本手法は,定性評価と定量的評価の両方において,ベンチマークデータセットの最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2025-07-25T08:45:02Z)
• Beyond Fully Supervised Pixel Annotations: Scribble-Driven Weakly-Supervised Framework for Image Manipulation Localization [11.10178274806454]
  アノテーションの効率と検出性能を向上させる弱監督方式を提案する。 我々は、スクリブルラベルでメインストリームのMLデータセットを再注釈し、最初のスクリブルベースのMLデータセットを提案する。 モデルが一貫した予測を生成することを奨励するために,構造的整合性を損なう自己教師型トレーニングを採用する。
  論文  参考訳（メタデータ） (2025-07-17T11:45:27Z)
• Multi-task Visual Grounding with Coarse-to-Fine Consistency Constraints [15.541287957548771]
  本稿では,粗大な一貫性制約を持つビジュアルグラウンドアーキテクチャを提案する。 暗黙的かつ明示的なモデリングアプローチを2段階のフレームワークに統合する。 最先端のREC法とRIS法を実質的なマージンで大幅に上回っている。
  論文  参考訳（メタデータ） (2025-01-12T04:30:13Z)
• Multi-Modality Driven LoRA for Adverse Condition Depth Estimation [61.525312117638116]
  逆条件深さ推定のためのMulti-Modality Driven LoRA(MMD-LoRA)を提案する。 Prompt Driven Domain Alignment (PDDA) と Visual-Text Consistent Contrastive Learning (VTCCL) の2つのコアコンポーネントで構成されている。 nuScenesとOxford RobotCarデータセットの最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-12-28T14:23:58Z)
• Noise Diffusion for Enhancing Semantic Faithfulness in Text-to-Image Synthesis [9.11767497956649]
  本稿では,大規模視覚言語モデルの言語理解能力を活用して,初期雑音ラテントの最適化を導くことを提案する。 本研究では,ノイズ拡散プロセスを導入し,雑音を更新し,分布の整合性を保ちながら意味的に忠実な画像を生成する。 実験により,様々な拡散モデル間のセマンティックアライメントを一貫して強化し,本フレームワークの有効性と適応性を示した。
  論文  参考訳（メタデータ） (2024-11-25T15:40:47Z)
• Unsupervised Modality Adaptation with Text-to-Image Diffusion Models for Semantic Segmentation [54.96563068182733]
  セグメンテーションタスクのためのテキスト・ツー・イメージ拡散モデル(MADM)を用いたモダリティ適応を提案する。 MADMは、広範囲な画像とテキストのペアで事前訓練されたテキストと画像の拡散モデルを使用して、モデルの相互モダリティ能力を向上する。 我々は,MADMが画像から深度,赤外線,イベントのモダリティといった様々なモダリティタスクにまたがって,最先端の適応性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-10-29T03:49:40Z)
• SCA: Improve Semantic Consistent in Unrestricted Adversarial Attacks via DDPM Inversion [27.7252951625431]
  我々はセマンティック・コンスタント・アンリミスタント・アンリミテッド・アタック(SCA)と呼ばれる新しいフレームワークを提案する。 SCAは、編集しやすいノイズマップを抽出するために反転法を採用し、意味的なガイダンスを提供するためにMLLM(Multimodal Large Language Model)を使用している。 我々のフレームワークは、最小限の識別可能な意味変化を示す敵例の効率的な生成を可能にする。
  論文  参考訳（メタデータ） (2024-10-03T06:25:53Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Multiscale Structure Guided Diffusion for Image Deblurring [24.09642909404091]
  拡散確率モデル (DPM) は画像の劣化に用いられている。 暗黙のバイアスとして、単純だが効果的なマルチスケール構造ガイダンスを導入する。 目に見えないデータのアーティファクトが少ないほど、より堅牢なデブロアリング結果を示します。
  論文  参考訳（メタデータ） (2022-12-04T10:40:35Z)
• Diffusion Visual Counterfactual Explanations [51.077318228247925]
  VCE(Visual Counterfactual Explanations)は、画像の決定を理解するための重要なツールである。 VCEの生成に対する現在のアプローチは、逆向きに堅牢なモデルに制限されており、しばしば非現実的なアーティファクトを含んでいる。 本稿では、任意のイメージネット分類器に対して、視覚拡散対実説明(DVCE)を生成することでこれを克服する。
  論文  参考訳（メタデータ） (2022-10-21T09:35:47Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。