論文の概要: DiVE: DiT-based Video Generation with Enhanced Control
- arxiv url: http://arxiv.org/abs/2409.01595v1
- Date: Tue, 3 Sep 2024 04:29:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 02:53:07.858999
- Title: DiVE: DiT-based Video Generation with Enhanced Control
- Title（参考訳）: DiVE: 制御機能強化したDiTベースのビデオ生成
- Authors: Junpeng Jiang, Gangyi Hong, Lijun Zhou, Enhui Ma, Hengtong Hu, Xia Zhou, Jie Xiang, Fan Liu, Kaicheng Yu, Haiyang Sun, Kun Zhan, Peng Jia, Miao Zhang,
- Abstract要約: 時間的・多視点的な一貫したビデオを生成するために特別に設計された第1のDiTベースのフレームワークを提案する。
具体的には、パラメータフリーな空間ビューインフレードアテンション機構を利用して、クロスビューの一貫性を保証する。
- 参考スコア（独自算出の注目度）: 23.63288169762629
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating high-fidelity, temporally consistent videos in autonomous driving scenarios faces a significant challenge, e.g. problematic maneuvers in corner cases. Despite recent video generation works are proposed to tackcle the mentioned problem, i.e. models built on top of Diffusion Transformers (DiT), works are still missing which are targeted on exploring the potential for multi-view videos generation scenarios. Noticeably, we propose the first DiT-based framework specifically designed for generating temporally and multi-view consistent videos which precisely match the given bird's-eye view layouts control. Specifically, the proposed framework leverages a parameter-free spatial view-inflated attention mechanism to guarantee the cross-view consistency, where joint cross-attention modules and ControlNet-Transformer are integrated to further improve the precision of control. To demonstrate our advantages, we extensively investigate the qualitative comparisons on nuScenes dataset, particularly in some most challenging corner cases. In summary, the effectiveness of our proposed method in producing long, controllable, and highly consistent videos under difficult conditions is proven to be effective.
- Abstract（参考訳）: 自動運転のシナリオで高忠実で時間的に一貫したビデオを生成することは、例えばコーナーケースで問題のある操作など、大きな課題に直面している。
ディフュージョントランスフォーマー(Diffusion Transformers, DiT)上に構築されたモデルに対処するための最近のビデオ生成作業が提案されているが、マルチビュービデオ生成シナリオの可能性を探究する作業はいまだに欠落している。
特に,時間的・多視点一貫したビデオを生成するために設計された最初のDiTベースのフレームワークを提案する。
具体的には、パラメータフリーな空間ビューインフレーション型アテンション機構を利用して、クロスビューの一貫性を保証する。
この利点を実証するため, nuScenesデータセットの質的比較について, 特に難易度の高いコーナーケースで詳細に検討した。
要約すると,困難条件下での長大かつ制御可能な,高度に一貫した映像作成における提案手法の有効性が証明された。
関連論文リスト
- Driving-Video Dehazing with Non-Aligned Regularization for Safety Assistance [24.671417176179187]
実際のドライビングビデオのデハージングは、正確に整列/クリアなビデオペアを取得するのが本質的に困難であるため、大きな課題となる。
非整合正規化戦略を通じてこの問題に対処する先駆的なアプローチを提案する。
このアプローチは、参照マッチングとビデオデハージングの2つの重要なコンポーネントから構成される。
論文 参考訳（メタデータ） (2024-05-16T11:28:01Z) - Fine-grained Controllable Video Generation via Object Appearance and
Context [74.23066823064575]
細粒度制御可能なビデオ生成法(FACTOR)を提案する。
FACTORは、オブジェクトの位置とカテゴリを含む、オブジェクトの外観とコンテキストを制御することを目的としている。
本手法は,オブジェクトの外観を微調整せずに制御し,オブジェクトごとの最適化作業を省く。
論文 参考訳（メタデータ） (2023-12-05T17:47:33Z) - TrackDiffusion: Tracklet-Conditioned Video Generation via Diffusion Models [75.20168902300166]
微粒な軌跡条件の運動制御が可能な新しい映像生成フレームワークであるTrackDiffusionを提案する。
TrackDiffusionの重要なコンポーネントは、複数のオブジェクトのフレーム間の一貫性を明確に保証するインスタンスエンハンサーである。
TrackDiffusionによって生成されたビデオシーケンスは、視覚知覚モデルのトレーニングデータとして使用できる。
論文 参考訳（メタデータ） (2023-12-01T15:24:38Z) - Panacea: Panoramic and Controllable Video Generation for Autonomous
Driving [38.404935454784855]
運転シナリオにおいてパノラマおよび制御可能なビデオを生成する革新的な手法であるパナセアを提案する。
Panaceaは2つの重要な課題に対処する:「一貫性」と「保守性」
論文 参考訳（メタデータ） (2023-11-28T14:22:24Z) - DragNUWA: Fine-grained Control in Video Generation by Integrating Text,
Image, and Trajectory [126.4597063554213]
DragNUWAは、オープンドメイン拡散に基づくビデオ生成モデルである。
意味的、空間的、時間的視点からビデオ内容のきめ細かい制御を提供する。
本実験はDragNUWAの有効性を検証し,ビデオ生成における微粒化制御における優れた性能を示した。
論文 参考訳（メタデータ） (2023-08-16T01:43:41Z) - Embracing Consistency: A One-Stage Approach for Spatio-Temporal Video
Grounding [35.73830796500975]
本稿では、時空間整合性認識変換器(STCAT)と呼ばれるエンドツーエンドのワンステージフレームワークを提案する。
このテンプレートを十分な映像認識下で生成するために,効率的なグローバルコンテキストモデリングのためのエンコーダ・デコーダアーキテクチャを提案する。
提案手法は,2つの挑戦的ビデオベンチマークにおいて,従来の最先端技術よりも明らかなマージンで優れていた。
論文 参考訳（メタデータ） (2022-09-27T11:13:04Z) - Learning Trajectory-Aware Transformer for Video Super-Resolution [50.49396123016185]
ビデオ超解像は、高解像度(HR)フレームを低解像度(LR)フレームから復元することを目的としている。
既存のアプローチは通常、隣接する限られたフレームからビデオフレームを並べて集約する。
ビデオ超解像用トランスフォーマー(TTVSR)を提案する。
論文 参考訳（メタデータ） (2022-04-08T03:37:39Z) - TubeDETR: Spatio-Temporal Video Grounding with Transformers [89.71617065426146]
与えられたテキストクエリに対応するビデオにおいて、アテンポラルチューブをエンコーダでローカライズする問題について考察する。
この課題に対処するために,テキスト条件付きオブジェクト検出における近年の成功に触発された変換器アーキテクチャであるTubeDETRを提案する。
論文 参考訳（メタデータ） (2022-03-30T16:31:49Z) - Video Frame Interpolation Transformer [86.20646863821908]
本稿では,トランスフォーマーをベースとした動画フレームワークを提案し,コンテンツ認識集約の重み付けと,自己注意操作による長距離依存を考慮した。
グローバルな自己注意の計算コストが高くなるのを避けるため、ビデオに局所的注意の概念を導入する。
さらに,トランスフォーマーの可能性を完全に実現するためのマルチスケール・フレーム・スキームを開発した。
論文 参考訳（メタデータ） (2021-11-27T05:35:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。