論文の概要: Controllable Video Generation by Learning the Underlying Dynamical
System with Neural ODE
- arxiv url: http://arxiv.org/abs/2303.05323v1
- Date: Thu, 9 Mar 2023 15:13:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-10 14:22:31.338980
- Title: Controllable Video Generation by Learning the Underlying Dynamical
System with Neural ODE
- Title(参考訳): ニューラルノードを用いた動的システム学習による制御可能な映像生成
- Authors: Yucheng Xu, Nanbo Li, Arushi Goel, Zijian Guo, Zonghai Yao, Hamidreza
Kasaei, Mohammadreze Kasaei, Zhibin Li
- Abstract要約: 動的システムを学ぶことによって制御可能なビデオを生成することは、コンピュータビジョンコミュニティにおいて重要で未発見のトピックである。
本稿では,静的画像とテキストキャプションから高制御可能なビデオを生成するための新しいフレームワークTiV-ODEを提案する。
- 参考スコア(独自算出の注目度): 8.503547809083951
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Videos depict the change of complex dynamical systems over time in the form
of discrete image sequences. Generating controllable videos by learning the
dynamical system is an important yet underexplored topic in the computer vision
community. This paper presents a novel framework, TiV-ODE, to generate highly
controllable videos from a static image and a text caption. Specifically, our
framework leverages the ability of Neural Ordinary Differential
Equations~(Neural ODEs) to represent complex dynamical systems as a set of
nonlinear ordinary differential equations. The resulting framework is capable
of generating videos with both desired dynamics and content. Experiments
demonstrate the ability of the proposed method in generating highly
controllable and visually consistent videos, and its capability of modeling
dynamical systems. Overall, this work is a significant step towards developing
advanced controllable video generation models that can handle complex and
dynamic scenes.
- Abstract(参考訳): ビデオは複雑な力学系の時間的変化を離散的な画像列の形で表現している。
ダイナミックなシステムを学ぶことで制御可能なビデオを生成することは、コンピュータビジョンコミュニティにおいて重要で未熟なトピックである。
本稿では,静的画像とテキストキャプションから高制御可能なビデオを生成するための新しいフレームワークTiV-ODEを提案する。
具体的には, 非線形常微分方程式の集合として複素力学系を表現するために, 神経常微分方程式 (neural ordinary differential equation)~(neural odes) を活用した。
このフレームワークは、望まれるダイナミック性とコンテンツの両方でビデオを生成することができる。
実験では、高度に制御可能で視覚的に一貫したビデオを生成するための提案手法と、動的システムのモデリング能力を示す。
全体として、この作業は複雑な動的シーンを処理できる高度な制御可能なビデオ生成モデルを開発するための重要なステップである。
関連論文リスト
- Pre-training Contextualized World Models with In-the-wild Videos for
Reinforcement Learning [54.67880602409801]
本稿では,視覚制御タスクの学習を効率的に行うために,Wild 動画を多用した事前学習型世界モデルの課題について検討する。
本稿では、コンテキストと動的モデリングを明確に分離したContextualized World Models(ContextWM)を紹介する。
実験により,ContextWMを内蔵したWildビデオ事前学習は,モデルベース強化学習のサンプル効率を大幅に向上できることが示された。
論文 参考訳(メタデータ) (2023-05-29T14:29:12Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳(メタデータ) (2022-11-20T20:57:02Z) - Capturing Actionable Dynamics with Structured Latent Ordinary
Differential Equations [68.62843292346813]
本稿では,その潜在表現内でのシステム入力の変動をキャプチャする構造付き潜在ODEモデルを提案する。
静的変数仕様に基づいて,本モデルではシステムへの入力毎の変動要因を学習し,潜在空間におけるシステム入力の影響を分離する。
論文 参考訳(メタデータ) (2022-02-25T20:00:56Z) - Constructing Neural Network-Based Models for Simulating Dynamical
Systems [59.0861954179401]
データ駆動モデリングは、真のシステムの観測からシステムの力学の近似を学ぼうとする代替パラダイムである。
本稿では,ニューラルネットワークを用いた動的システムのモデル構築方法について検討する。
基礎的な概要に加えて、関連する文献を概説し、このモデリングパラダイムが克服すべき数値シミュレーションから最も重要な課題を概説する。
論文 参考訳(メタデータ) (2021-11-02T10:51:42Z) - Uncovering Closed-form Governing Equations of Nonlinear Dynamics from
Videos [8.546520029145853]
本稿では,動画中の移動物体の力学を規定する方程式の数学的構造を明らかにするために,新しいエンドツーエンドの非教師なしディープラーニングフレームワークを提案する。
このようなアーキテクチャは,(1)移動物体の低次元空間/画素座標を学習するエンコーダ・デコーダネットワーク,(2)抽出された空間/画素座標と動的の潜在物理状態とのマッピングを生成する学習可能な空間-物理変換コンポーネント,(3)学習された物理状態の擬似閉形式支配方程式を明らかにする数値積分器ベースのスパース回帰モジュールからなる。
論文 参考訳(メタデータ) (2021-06-09T02:50:11Z) - Dynamic View Synthesis from Dynamic Monocular Video [69.80425724448344]
動的シーンの単眼映像を与えられた任意の視点と任意の入力時間ステップでビューを生成するアルゴリズムを提案する。
カジュアルな映像からの動的ビュー合成の定量的および定性的な結果を示す。
論文 参考訳(メタデータ) (2021-05-13T17:59:50Z) - Unsupervised Learning of Lagrangian Dynamics from Images for Prediction
and Control [12.691047660244335]
画像からラグランジアン力学を学習する新しい教師なしニューラルネットワークモデルを導入する。
このモデルは、座標対応変分オートエンコーダで同時に学習される一般化座標上でラグランジアン力学を推論する。
論文 参考訳(メタデータ) (2020-07-03T20:06:43Z) - Hierarchical Decomposition of Nonlinear Dynamics and Control for System
Identification and Policy Distillation [39.83837705993256]
強化学習(RL)の最近のトレンドは、力学と政策の複雑な表現に焦点を当てている。
制御コミュニティからインスピレーションを得て、複雑なダイナミクスをより単純なコンポーネントに分解するために、ハイブリッドスイッチングシステムの原則を適用します。
論文 参考訳(メタデータ) (2020-05-04T12:40:59Z) - Learning Stable Deep Dynamics Models [91.90131512825504]
状態空間全体にわたって安定することが保証される力学系を学習するためのアプローチを提案する。
このような学習システムは、単純な力学系をモデル化することができ、複雑な力学を学習するために追加の深層生成モデルと組み合わせることができることを示す。
論文 参考訳(メタデータ) (2020-01-17T00:04:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。