論文の概要: CAGE: Unsupervised Visual Composition and Animation for Controllable Video Generation
- arxiv url: http://arxiv.org/abs/2403.14368v2
- Date: Mon, 24 Mar 2025 14:21:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-25 16:32:16.034527
- Title: CAGE: Unsupervised Visual Composition and Animation for Controllable Video Generation
- Title（参考訳）: CAGE:制御可能なビデオ生成のための教師なしビジュアルコンポジションとアニメーション
- Authors: Aram Davtyan, Sepehr Sameni, Björn Ommer, Paolo Favaro,
- Abstract要約: 制御可能で合成可能なビデオ生成のための教師なしのアプローチを導入する。
私たちのモデルは、注釈のないビデオのデータセットをスクラッチからトレーニングしています。
空間と時間の所望の場所にオブジェクトを配置することで、可愛らしい斬新なシーンを作成し、オブジェクトをアニメーション化することができる。
- 参考スコア（独自算出の注目度）: 42.475807996071175
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The field of video generation has expanded significantly in recent years, with controllable and compositional video generation garnering considerable interest. Most methods rely on leveraging annotations such as text, objects' bounding boxes, and motion cues, which require substantial human effort and thus limit their scalability. In contrast, we address the challenge of controllable and compositional video generation without any annotations by introducing a novel unsupervised approach. Our model is trained from scratch on a dataset of unannotated videos. At inference time, it can compose plausible novel scenes and animate objects by placing object parts at the desired locations in space and time. The core innovation of our method lies in the unified control format and the training process, where video generation is conditioned on a randomly selected subset of pre-trained self-supervised local features. This conditioning compels the model to learn how to inpaint the missing information in the video both spatially and temporally, thereby learning the inherent compositionality of a scene and the dynamics of moving objects. The abstraction level and the imposed invariance of the conditioning input to minor visual perturbations enable control over object motion by simply using the same features at all the desired future locations. We call our model CAGE, which stands for visual Composition and Animation for video GEneration. We conduct extensive experiments to validate the effectiveness of CAGE across various scenarios, demonstrating its capability to accurately follow the control and to generate high-quality videos that exhibit coherent scene composition and realistic animation.
- Abstract（参考訳）: 近年、映像生成の分野は大幅に拡大し、制御可能で構成可能な映像生成が注目されている。
ほとんどのメソッドは、テキスト、オブジェクトのバウンディングボックス、モーションキューなどのアノテーションを活用することに依存しており、これはかなりの人的労力を要するため、スケーラビリティが制限される。
対照的に、新規な教師なしアプローチを導入することにより、アノテーションを使わずに、制御可能で構成可能なビデオ生成の課題に対処する。
私たちのモデルは、注釈のないビデオのデータセットをスクラッチからトレーニングしています。
推測時には、対象部分を所望の場所、空間、時間に配置することで、プラウチブルなノベルシーンを構成し、オブジェクトをアニメーション化することができる。
本手法の中核となる革新は、事前学習したローカル特徴のランダムに選択されたサブセットにビデオ生成を条件付ける統一制御形式とトレーニングプロセスである。
この条件付けは、映像中の欠落した情報を空間的にも時間的にもインペイントする方法を学ぶためにモデルを補完し、シーン固有の構成性や移動物体のダイナミックスを学ぶ。
最小の視覚摂動に対する条件付け入力の抽象レベルと強制的不変性は、目的のすべての将来の場所で同じ特徴を単純に使用することによって、オブジェクトの動きを制御できる。
我々は、ビデオGEnerationのためのビジュアルコンポジションとアニメーションのモデルCAGEと呼ぶ。
様々なシナリオにおいてCAGEの有効性を検証し、その制御を正確に追従し、コヒーレントなシーン構成とリアルなアニメーションを示す高品質なビデオを生成する能力を示す。
関連論文リスト
- Grounding Video Models to Actions through Goal Conditioned Exploration [29.050431676226115]
本稿では,エージェントが複雑なタスクを解くために,映像誘導とトラジェクトリレベルのアクション生成を利用するフレームワークを提案する。
当社のアプローチが,専門家によるデモンストレーションでトレーニングされた,複数の行動クローンベースラインと同等であるか,あるいは超越しているかを示します。
論文 参考訳（メタデータ） (2024-11-11T18:43:44Z) - DreamVideo-2: Zero-Shot Subject-Driven Video Customization with Precise Motion Control [42.506988751934685]
本研究では、特定の主題と動きの軌跡でビデオを生成することができるゼロショットビデオカスタマイズフレームワークDreamVideo-2を提案する。
具体的には,対象学習におけるモデル固有の能力を活用する参照アテンションを導入する。
我々は,ボックスマスクの頑健な動作信号を完全に活用して,高精度な動作制御を実現するためのマスク誘導型モーションモジュールを考案した。
論文 参考訳（メタデータ） (2024-10-17T17:52:57Z) - WildVidFit: Video Virtual Try-On in the Wild via Image-Based Controlled Diffusion Models [132.77237314239025]
ビデオ仮想トライオンは、衣料品のアイデンティティを維持し、ソースビデオにおける人のポーズと身体の形に適応する現実的なシーケンスを生成することを目的としている。
従来の画像ベースの手法は、ワープとブレンディングに依存しており、複雑な人間の動きや閉塞に苦しむ。
衣料品の説明や人間の動きを条件とした映像生成のプロセスとして,映像試行を再認識する。
私たちのソリューションであるWildVidFitは、画像ベースで制御された拡散モデルを用いて、一段階の合理化を図っている。
論文 参考訳（メタデータ） (2024-07-15T11:21:03Z) - Controllable Longer Image Animation with Diffusion Models [12.565739255499594]
動画拡散モデルを用いた動き先行画像を用いたオープンドメイン制御可能な画像アニメーション手法を提案する。
本手法は動画から運動場情報を抽出することにより移動領域の運動方向と速度を正確に制御する。
本稿では,画像アニメーションタスクに特化して最適化されたノイズ再スケジュールに基づく,効率的な長周期ビデオ生成手法を提案する。
論文 参考訳（メタデータ） (2024-05-27T16:08:00Z) - Generating Human Interaction Motions in Scenes with Text Control [66.74298145999909]
本稿では,デノナイズ拡散モデルに基づくテキスト制御されたシーン認識動作生成手法TeSMoを提案する。
我々のアプローチは、シーンに依存しないテキスト-モーション拡散モデルの事前学習から始まります。
トレーニングを容易にするため,シーン内に注釈付きナビゲーションと対話動作を組み込む。
論文 参考訳（メタデータ） (2024-04-16T16:04:38Z) - Dense Video Object Captioning from Disjoint Supervision [77.47084982558101]
本稿では,高密度ビデオオブジェクトキャプションのための新しいタスクとモデルを提案する。
このタスクは、ビデオにおける空間的および時間的局所化を統一する。
我々は、この新しいタスクの強力なベースラインにおいて、我々のモデルがどのように改善されているかを示す。
論文 参考訳（メタデータ） (2023-06-20T17:57:23Z) - Learn the Force We Can: Enabling Sparse Motion Control in Multi-Object
Video Generation [26.292052071093945]
単一のフレームとスパース動作入力からビデオを生成する教師なしの手法を提案する。
我々の訓練されたモデルは、目に見えない現実的なオブジェクト間相互作用を生成できる。
ヨダは、制御性と映像品質の両面において、先行するアートビデオ生成の状況と同等かそれ以上であることを示す。
論文 参考訳（メタデータ） (2023-06-06T19:50:02Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳（メタデータ） (2022-11-20T20:57:02Z) - InfiniteNature-Zero: Learning Perpetual View Generation of Natural
Scenes from Single Images [83.37640073416749]
本研究では,1つの視点から自然シーンのフライスルー映像を学習する手法を提案する。
この能力は、カメラのポーズやシーンの複数のビューを必要とせずに、1枚の写真から学習される。
論文 参考訳（メタデータ） (2022-07-22T15:41:06Z) - Playable Environments: Video Manipulation in Space and Time [98.0621309257937]
再生可能な環境 - 空間と時間におけるインタラクティブなビデオ生成と操作のための新しい表現。
提案フレームワークでは,1枚の画像を推論時に生成し,対象物を3次元に移動させ,所望のアクションを連続して生成する。
提案手法は,各フレームの環境状態を構築し,提案したアクションモジュールで操作し,ボリュームレンダリングで画像空間に復号化することができる。
論文 参考訳（メタデータ） (2022-03-03T18:51:05Z) - Unsupervised Object Learning via Common Fate [61.14802390241075]
ビデオから生成オブジェクトモデルを学習することは、長い問題であり、因果的シーンモデリングに必要である。
この問題を3つの簡単なサブタスクに分解し、それぞれに候補解を提供する。
提案手法は,入力ビデオのオクルージョンを超えて一般化された生成モデルを学習することができることを示す。
論文 参考訳（メタデータ） (2021-10-13T08:22:04Z) - Weakly Supervised Human-Object Interaction Detection in Video via
Contrastive Spatiotemporal Regions [81.88294320397826]
システムは、ビデオに人間と物体の相互作用が存在するか、あるいは人間と物体の実際の位置を知らない。
文節から収集した人-物間相互作用による6.5k以上のビデオからなるデータセットを提案する。
ビデオデータセットのアノテーションに適応した弱教師付きベースラインの性能向上を実証した。
論文 参考訳（メタデータ） (2021-10-07T15:30:18Z) - First Order Motion Model for Image Animation [90.712718329677]
画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。
我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
論文 参考訳（メタデータ） (2020-02-29T07:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。