論文の概要: VideoAssembler: Identity-Consistent Video Generation with Reference Entities using Diffusion Model

• arxiv url: http://arxiv.org/abs/2311.17338v1
• Date: Wed, 29 Nov 2023 03:36:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 22:40:21.514915
• Title: VideoAssembler: Identity-Consistent Video Generation with Reference Entities using Diffusion Model
• Title（参考訳）: VideoAssembler:拡散モデルを用いた参照エンティティを持つアイデンティティ一貫性ビデオ生成
• Authors: Haoyu Zhao, Tianyi Lu, Jiaxi Gu, Xing Zhang, Zuxuan Wu, Hang Xu, Yu-Gang Jiang
• Abstract要約: VideoAssemblerは、アイデンティティ一貫性のあるビデオ生成のためのエンドツーエンドフレームワークである。 VideoAssemblerは、入力参照エンティティに対してフレキシブルなビデオを作成することに長けている。
• 参考スコア（独自算出の注目度）: 97.99027412399198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Identity-consistent video generation seeks to synthesize videos that are guided by both textual prompts and reference images of entities. Current approaches typically utilize cross-attention layers to integrate the appearance of the entity, which predominantly captures semantic attributes, resulting in compromised fidelity of entities. Moreover, these methods necessitate iterative fine-tuning for each new entity encountered, thereby limiting their applicability. To address these challenges, we introduce VideoAssembler, a novel end-to-end framework for identity-consistent video generation that can conduct inference directly when encountering new entities. VideoAssembler is adept at producing videos that are not only flexible with respect to the input reference entities but also responsive to textual conditions. Additionally, by modulating the quantity of input images for the entity, VideoAssembler enables the execution of tasks ranging from image-to-video generation to sophisticated video editing. VideoAssembler comprises two principal components: the Reference Entity Pyramid (REP) encoder and the Entity-Prompt Attention Fusion (EPAF) module. The REP encoder is designed to infuse comprehensive appearance details into the denoising stages of the stable diffusion model. Concurrently, the EPAF module is utilized to integrate text-aligned features effectively. Furthermore, to mitigate the challenge of scarce data, we present a methodology for the preprocessing of training data. Our evaluation of the VideoAssembler framework on the UCF-101, MSR-VTT, and DAVIS datasets indicates that it achieves good performances in both quantitative and qualitative analyses (346.84 in FVD and 48.01 in IS on UCF-101). Our project page is at https://videoassembler.github.io/videoassembler.
• Abstract（参考訳）: アイデンティティ一貫性のあるビデオ生成は、テキストプロンプトとエンティティの参照イメージの両方によってガイドされるビデオの合成を目指している。 現在のアプローチでは一般的に、エンティティの外観を統合するために、クロスアテンション・レイヤを使用し、主にセマンティックな属性をキャプチャし、エンティティの忠実度を損なう。 さらに、これらの手法は遭遇する新しいエンティティごとに反復的な微調整を必要とするため、適用性が制限される。 これらの課題に対処するために,我々は,アイデンティティ一貫性のあるビデオ生成のための新しいエンドツーエンドフレームワークであるvideoassemblerを紹介する。 VideoAssemblerは、入力参照エンティティに関してだけでなく、テキスト条件にも反応するフレキシブルなビデオを作成することに長けている。 さらに、エンティティの入力画像量を調整することで、VideoAssemblerは、画像生成から高度なビデオ編集まで、タスクの実行を可能にする。 VideoAssemblerは、Reference Entity Pyramid (REP)エンコーダとEntity-Prompt Attention Fusion (EPAF)モジュールの2つの主要コンポーネントで構成されている。 REPエンコーダは、安定した拡散モデルの認知段階に包括的外観の詳細を注入するように設計されている。 同時にEPAFモジュールを使用してテキスト整列機能を効果的に統合する。 さらに,不足データの課題を軽減するため,トレーニングデータの事前処理を行う手法を提案する。 UCF-101, MSR-VTT, DAVISデータセット上での VideoAssembler フレームワークの評価は, FVD では 346.84 , UCF-101 では 48.01 である。 私たちのプロジェクトページはhttps://videoassembler.github.io/videoassemblerにあります。

関連論文リスト

• A Survey of Multimodal-Guided Image Editing with Text-to-Image Diffusion Models [117.77807994397784]
  画像編集は、ユーザーが特定の要求を満たすために、与えられた合成画像または実際の画像を編集することを目的としている。 この分野での最近の顕著な進歩は、テキスト・ツー・イメージ(T2I)拡散モデルの開発に基づいている。 T2Iベースの画像編集手法は、編集性能を大幅に向上させ、マルチモーダル入力でガイドされたコンテンツを修正するためのユーザフレンドリーなインタフェースを提供する。
  論文  参考訳（メタデータ） (2024-06-20T17:58:52Z)
• MS-Diffusion: Multi-subject Zero-shot Image Personalization with Layout Guidance [6.4680449907623006]
  本研究では,マルチオブジェクトを用いたレイアウト誘導ゼロショット画像パーソナライズのためのMS-Diffusionフレームワークを提案する。 提案した多目的クロスアテンションオーケストラは、テキストの制御を保ちながら、オブジェクト間コンポジションを編成する。
  論文  参考訳（メタデータ） (2024-06-11T12:32:53Z)
• Contextualized Diffusion Models for Text-Guided Image and Video Generation [67.69171154637172]
  条件拡散モデルは高忠実度テキスト誘導視覚生成および編集において優れた性能を示した。 本研究では,テキスト条件と視覚的サンプル間の相互作用とアライメントを包含するクロスモーダルコンテキストを組み込むことにより,コンテキスト拡散モデル(ContextDiff)を提案する。 理論的導出を伴うDDPMとDDIMの両方にモデルを一般化し、テキスト・ツー・イメージ生成とテキスト・ツー・ビデオ編集という2つの課題を伴う評価において、モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:16Z)
• Consolidating Attention Features for Multi-view Image Editing [126.19731971010475]
  本研究では,空間制御に基づく幾何学的操作に着目し,様々な視点にまたがって編集プロセスを統合する手法を提案する。 編集画像の内部クエリ機能に基づいて訓練されたニューラルラジアンス場QNeRFを紹介する。 拡散時間の経過とともにクエリをよりよく統合する、プログレッシブで反復的な手法により、プロセスを洗練します。
  論文  参考訳（メタデータ） (2024-02-22T18:50:18Z)
• DiffEditor: Boosting Accuracy and Flexibility on Diffusion-based Image Editing [66.43179841884098]
  大規模テキスト・ツー・イメージ(T2I)拡散モデルは、ここ数年で画像生成に革命をもたらした。 既存の拡散型画像編集における2つの弱点を正すためにDiffEditorを提案する。 本手法は,様々な精細な画像編集タスクにおいて,最先端の性能を効率的に達成することができる。
  論文  参考訳（メタデータ） (2024-02-04T18:50:29Z)
• Unified Diffusion-Based Rigid and Non-Rigid Editing with Text and Image Guidance [15.130419159003816]
  本稿では,厳密な編集と非厳密な編集の両方を実行できる多用途画像編集フレームワークを提案する。 我々は、多種多様な編集シナリオを扱うために、デュアルパスインジェクション方式を利用する。 外観と構造情報の融合のための統合自己認識機構を導入する。
  論文  参考訳（メタデータ） (2024-01-04T08:21:30Z)
• InstructVid2Vid: Controllable Video Editing with Natural Language Instructions [97.17047888215284]
  InstructVid2Vidは、人間の言語命令でガイドされたビデオ編集のためのエンドツーエンドの拡散ベースの方法論である。 我々のアプローチは、自然言語ディレクティブによって案内される映像操作を強化し、サンプルごとの微調整や逆変換の必要性を排除します。
  論文  参考訳（メタデータ） (2023-05-21T03:28:13Z)
• Pix2Video: Video Editing using Image Diffusion [43.07444438561277]
  テキスト誘導映像編集における事前学習画像モデルの使用方法について検討する。 まず、事前訓練された構造誘導画像拡散モデルを用いて、アンカーフレーム上でテキスト誘導編集を行う。 我々は、計算集約的な事前処理やビデオ固有の微調整なしに、リアルなテキスト誘導ビデオ編集が可能であることを実証した。
  論文  参考訳（メタデータ） (2023-03-22T16:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。