論文の概要: MLLM-Guided Semantic Correction for Text-to-Video Generation

• arxiv url: http://arxiv.org/abs/2608.16513v1
• Date: Mon, 17 Aug 2026 12:54:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.699628
• Title: MLLM-Guided Semantic Correction for Text-to-Video Generation
• Title（参考訳）: MLLMによるテキスト・ビデオ生成のための意味的補正
• Abstract要約: マルチモーダルな大規模言語モデルフィードバックを統合した,トレーニングフリーで解釈可能な中間世代補正フレームワークを提案する。 セマンティック・アセスメント・スーパーバイザ (Semantic Assessment Supervisor) とセマンティック・アセスメント・アシスタント (Semantic Modification Assistant) という,セマンティック・アセスメント・スーパーバイザ (Semantic Assessment Supervisor) の2つの重要なモジュールを提案する。 本手法は, モデルパラメータを変更することなく, セマンティックアライメント, 視覚的忠実度, 時間的一貫性を改善する。
• 参考スコア（独自算出の注目度）: 66.7723669725808
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in diffusion models and Transformer architectures have led to significant progress in text-to-video generation. However, these models often suffer from semantic errors such as missing objects, incorrect attributes, or mismatched actions. Although some semantic correction methods perform optimization before sampling or refinement after sampling, how to detect and correct semantic deviations during the video generation process remains underexplored. In this paper, we introduce a training-free, interpretable mid-generation correction framework that integrates multimodal large language model (MLLM) feedback directly into the diffusion sampling loop. Our framework achieves diffusion trajectory correction by injecting semantic evaluation signals during video synthesis, enabling the model to optimize the generated content through continuous self-reflection. We propose two key modules: a Semantic Assessment Supervisor that generates intermediate preview frames for semantic evaluations and deviation diagnostics, and a Semantic Modification Assistant that corrects semantic drift during inference via a controllable latent trajectory intervention. Our method improves semantic alignment, visual fidelity, and temporal consistency without modifying model parameters. We validate the effectiveness of our approach through extensive experiments across multiple benchmarks.
• Abstract（参考訳）: 拡散モデルとトランスフォーマーアーキテクチャの最近の進歩は、テキスト・ビデオ生成に大きな進歩をもたらした。 しかしながら、これらのモデルは、オブジェクトの欠如、誤った属性、ミスマッチしたアクションなどのセマンティックエラーに悩まされることが多い。 いくつかの意味的補正法はサンプリング後のサンプリングや精錬前に最適化を行うが、ビデオ生成過程における意味的偏差の検出と修正方法は未検討のままである。 本稿では,Multimodal Large Language Model (MLLM) のフィードバックを直接拡散サンプリングループに統合する,学習不要で解釈可能な中間世代補正フレームワークを提案する。 本フレームワークは,映像合成中に意味評価信号を注入することにより拡散軌道補正を実現し,連続的な自己回帰によって生成されたコンテンツを最適化する。 セマンティック・アセスメント・スーパーバイザ (Semantic Assessment Supervisor) とセマンティック・アセスメント・アシスタント (Semantic Modification Assistant) という,セマンティック・アセスメント・スーパーバイザ (Semantic Assessment Supervisor) の2つの重要なモジュールを提案する。 本手法は, モデルパラメータを変更することなく, セマンティックアライメント, 視覚的忠実度, 時間的一貫性を改善する。 複数のベンチマークにまたがる広範な実験により,本手法の有効性を検証した。

関連論文リスト

• Prototype-Anchored Generalized Manifold Regression for Unknown-Domain Object Detection [58.25418970608328]
  単一ソースドメイン上でトレーニングされた検出器を複数の未確認領域に転送することを目的としたシングルドメイン一般化オブジェクト検出(Single-DGOD)について検討する。 既存の手法は主に、トレーニング分布を拡大するために、データ拡張やテキストプロンプトといったシミュレーション駆動の戦略に依存している。 本稿では, 未知領域の一般化を多様体回帰問題として定式化する, Visual-Text Dual Chain-of-Thought (MR-DCoT) を用いたマニフォールド回帰を提案する。
  論文  参考訳（メタデータ） (2026-07-08T09:27:15Z)
• Training-Free Semantic Correction for Autoregressive Visual Models [25.313836448956007]
  本稿では,マルチモーダルな大言語モデルフィードバックをAVMサンプリングループに統合し,世代間セマンティックな修正を行うフレームワークであるGazerを提案する。 コンポジションイメージとビデオベンチマークの実験は、Gazerが追加のトレーニングなしで複数のAVM間でセマンティックアライメントとコンポジション精度を改善していることを示している。
  論文  参考訳（メタデータ） (2026-06-21T15:10:32Z)
• Reward-Guided Semantic Evolution for Test-time Adaptive Object Detection [82.2968697030677]
  Grounding DINOのような視覚言語モデル(VLM)を用いたオープン語彙オブジェクト検出は、テスト時間分布シフト時の性能劣化に悩まされる。 Reward-Guided Semantic Evolution (RGSE) は、テスト時にテキストの埋め込みを直接洗練するトレーニング不要のフレームワークである。
  論文  参考訳（メタデータ） (2026-05-06T06:17:41Z)
• Training-Free Representation Guidance for Diffusion Models with a Representation Alignment Projector [14.027059904924135]
  本稿では,プロジェクタによって予測される表現を中間サンプリングステップに注入するアライメントアライメントプロジェクタを提案する。 SiTとREPAの実験は、クラス条件の画像ネット合成において顕著に改善されている。 提案手法は,SiTモデルに適用した場合の代表的なガイダンスより優れる。
  論文  参考訳（メタデータ） (2026-01-30T02:29:54Z)
• Cross-Subject Mind Decoding from Inaccurate Representations [42.19569985029642]
  正確なデコード表現予測のためのBi Autoencoder Intertwiningフレームワークを提案する。 本手法は,定性評価と定量的評価の両方において,ベンチマークデータセットの最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2025-07-25T08:45:02Z)
• Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
  MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。 中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。 大規模な実験ではPPADの大幅な改善が示されている。
  論文  参考訳（メタデータ） (2025-05-26T14:42:35Z)
• Diffusion Glancing Transformer for Parallel Sequence to Sequence Learning [52.72369034247396]
  モーダリティ拡散プロセスと残差グランシングサンプリングを併用した拡散グランシング変換器を提案する。 DIFFGLATは、自己回帰モデルと非自己回帰モデルの両方と比較して、高速な復号速度を維持しながら、より優れた生成精度を実現する。
  論文  参考訳（メタデータ） (2022-12-20T13:36:25Z)
• Semantic Image Synthesis via Diffusion Models [174.24523061460704]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に事実上のGANベースのアプローチに従っている。 意味画像合成のためのDDPMに基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。