論文の概要: Smart-Insertion-V: Photorealistic Video Insertion via a Closed-Loop Feedback Dual-Stream Framework

• arxiv url: http://arxiv.org/abs/2605.23891v1
• Date: Fri, 22 May 2026 17:54:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.458181
• Title: Smart-Insertion-V: Photorealistic Video Insertion via a Closed-Loop Feedback Dual-Stream Framework
• Title（参考訳）: Smart-Insertion-V:クローズドループフィードバックデュアルストリームフレームワークによるフォトリアリスティックビデオ挿入
• Authors: Xiao Cao, Yansong Qu, Xiangzhen, Chang, Wen Xiao, Jiakui Hu, Heyuan Li, Jialun Liu, Zhiyong Huang, Xuelong Li,
• Abstract要約: マスクのないビデオオブジェクト挿入は、ソースビデオへの参照オブジェクトの調和を要する、困難なタスクとして登場した。 ビデオ挿入と画像スタイル転送を同時に行う,エンドツーエンドのtextbfDual-Stream フレームワークである textittextbfSmart-Insertion-V を提案する。
• 参考スコア（独自算出の注目度）: 52.477407591581176
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mask-free video object insertion has emerged as a challenging task, requiring harmonious integration of reference objects into source videos. However, existing methods struggle when references exhibit severe stylistic domain gaps with the source scene. To overcome this, we propose \textit{\textbf{Smart-Insertion-V}}, an end-to-end \textbf{Dual-Stream} framework that concurrently conducts video insertion and image style transfer. Within this framework, the image stream synchronously guides the video generation process, while a \textbf{Closed-loop Feedback} mechanism is further incorporated to ensure robust insertion. Inevitably, integrating these diverse conditioning signals results in feature entanglement and style leakage. To tackle this issue, we design \textbf{Dual-World-View RoPE} to distinguish different signals via spatial-temporal offsets without incurring heavy training overhead. Furthermore, to facilitate spatial grounding and stylistic adaptation, we introduce a \textbf{Decoupled Guidance Module} that leverages a Vision-Language Model for semantic reasoning while preserving original temporal guidance with native text encoder. To bridge data gap for harmonious reference insertion task, we propose a data curation pipeline and will release an \textbf{open-source dataset}. Experiments demonstrate that our method can insert objects into plausible positions while achieving the most harmonious results.
• Abstract（参考訳）: マスクのないビデオオブジェクト挿入は、ソースビデオへの参照オブジェクトの調和を要する、困難なタスクとして登場した。 しかし、既存の手法は、参照がソースシーンと深刻なスタイリスティックなドメインギャップを示す場合に苦労する。 これを解決するために,ビデオ挿入と画像スタイルの転送を同時に行うエンドツーエンドの \textbf{Dual-Stream} フレームワークである \textit{\textbf{Smart-Insertion-V}} を提案する。 このフレームワーク内では、画像ストリームがビデオ生成プロセスを同期的にガイドし、また、ロバストな挿入を保証するために、 \textbf{Closed-loop Feedback} メカニズムがさらに組み込まれている。 必然的に、これらの多様な条件信号を統合することは、特徴の絡み合いとスタイルの漏れをもたらす。 この問題に対処するため、重度のトレーニングオーバーヘッドを発生させることなく、空間的オフセットを介して異なる信号を識別する「textbf{Dual-World-View RoPE}」を設計する。 さらに、空間的接地とスタイリスティックな適応を容易にするために、ネイティブテキストエンコーダでオリジナルの時間的ガイダンスを保ちながら、意味的推論にVision-Language Modelを活用する「textbf{Decoupled Guidance Module}」を導入する。 調和した参照挿入タスクのためのデータギャップを橋渡しするために、データキュレーションパイプラインを提案し、 \textbf{open-source dataset} をリリースする。 実験により, 物体を可塑性位置に挿入し, 最も調和した結果が得られることを示した。

関連論文リスト

• ContextAnyone: Context-Aware Diffusion for Character-Consistent Text-to-Video Generation [36.29956463871403]
  テキスト・ツー・ビデオ(T2V)生成は急速に進歩しているが、シーン間で一貫した文字のアイデンティティを維持することは大きな課題である。 テキストと単一の参照画像から文字一貫性のある映像を生成するコンテキスト対応拡散フレームワークである textbfContextAnyone を提案する。 提案手法は,参照画像を共同で再構成し,新しいビデオフレームを生成する。
  論文  参考訳（メタデータ） (2025-12-08T09:12:18Z)
• OmniInsert: Mask-Free Video Insertion of Any Reference via Diffusion Transformer Models [27.792199133175718]
  本研究では,マスクフリービデオ挿入の課題に焦点をあて,データ不足,主観的平衡,挿入調和という3つの課題を解決することを目的とする。 データ不足に対処するために、さまざまなクロスペアデータを自動的に構築する新しいデータパイプラインInsertPipeを提案する。 オムニインサート(OmniInsert)は、単体および複数被写体の両方からのマスフリービデオ挿入のための新しい統合フレームワークである。
  論文  参考訳（メタデータ） (2025-09-22T11:35:55Z)
• SAGA: Learning Signal-Aligned Distributions for Improved Text-to-Image Generation [9.212970624261272]
  最先端のテキスト画像モデルは視覚的に印象的な結果をもたらすが、しばしばテキストプロンプトへの正確なアライメントに苦慮する。 本稿では,ターゲットプロンプトに条件付き高精度分布を学習する手法を提案する。 提案手法は,過度な最適化を緩和する微粒化制御を実現することで,デノナイズプロセス中の信号成分を明示的にモデル化する。
  論文  参考訳（メタデータ） (2025-08-19T14:31:15Z)
• MAGREF: Masked Guidance for Any-Reference Video Generation with Subject Disentanglement [47.064467920954776]
  我々は、任意の参照ビデオ生成のための統一的で効果的なフレームワークであるMAGREFを紹介する。 提案手法は,マスキング誘導と主観的ゆがみ機構を取り入れたものである。 包括的なベンチマークの実験は、MAGREFが既存の最先端のアプローチを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-05-29T17:58:15Z)
• Semantic Lens: Instance-Centric Semantic Alignment for Video Super-Resolution [36.48329560039897]
  フレーム間アライメントはビデオ超解像(VSR)の重要な手がかりである 本稿では,セマンティックレンズ(Semantic Lens)という,VSRのための新しいパラダイムを提案する。 ビデオはセマンティックエクストラクタを介してインスタンス、イベント、シーンとしてモデル化される。
  論文  参考訳（メタデータ） (2023-12-13T01:16:50Z)
• UpFusion: Novel View Diffusion from Unposed Sparse View Observations [66.36092764694502]
  UpFusionは、参照画像のスパースセットが与えられたオブジェクトに対して、新しいビュー合成と3D表現を推論することができる。 本研究では,この機構により,付加された(未提示)画像の合成品質を向上しつつ,高忠実度な新規ビューを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-12-11T18:59:55Z)
• LayoutLLM-T2I: Eliciting Layout Guidance from LLM for Text-to-Image Generation [121.45667242282721]
  レイアウト計画と画像生成を実現するための粗大なパラダイムを提案する。 提案手法は,フォトリアリスティックなレイアウトと画像生成の観点から,最先端のモデルよりも優れている。
  論文  参考訳（メタデータ） (2023-08-09T17:45:04Z)
• Redundancy-aware Transformer for Video Question Answering [71.98116071679065]
  本稿では,ビデオQAを冗長性に認識してモデル化することを目的とした,トランスフォーマーに基づく新しいアーキテクチャを提案する。 隣接するフレームの冗長性に対処するために,隣接するフレームのオブジェクトレベルの変化を強調するビデオエンコーダ構造を導入する。 クロスモーダルな冗長性については、新たな適応サンプリングを融合モジュールに装備し、視覚と言語間の相互作用を明確に区別する。
  論文  参考訳（メタデータ） (2023-08-07T03:16:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。