論文の概要: DyNCA: Real-time Dynamic Texture Synthesis Using Neural Cellular
Automata
- arxiv url: http://arxiv.org/abs/2211.11417v1
- Date: Mon, 21 Nov 2022 13:01:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 19:20:36.875403
- Title: DyNCA: Real-time Dynamic Texture Synthesis Using Neural Cellular
Automata
- Title(参考訳): DyNCA:ニューラルセルオートマタを用いたリアルタイム動的テクスチャ合成
- Authors: Ehsan Pajouheshgar, Yitao Xu, Tong Zhang, Sabine S\"usstrunk
- Abstract要約: リアルタイムかつ制御可能な動的テクスチャ合成のためのフレームワークである動的ニューラルセルオートマタ(DyNCA)を提案する。
提案手法は,最近導入されたNAAモデルに基づいて,無限長で任意の大きさのテクスチャ映像をリアルタイムに合成することができる。
- 参考スコア(独自算出の注目度): 12.05119084381406
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Current Dynamic Texture Synthesis (DyTS) models in the literature can
synthesize realistic videos. However, these methods require a slow iterative
optimization process to synthesize a single fixed-size short video, and they do
not offer any post-training control over the synthesis process. We propose
Dynamic Neural Cellular Automata (DyNCA), a framework for real-time and
controllable dynamic texture synthesis. Our method is built upon the recently
introduced NCA models, and can synthesize infinitely-long and arbitrary-size
realistic texture videos in real-time. We quantitatively and qualitatively
evaluate our model and show that our synthesized videos appear more realistic
than the existing results. We improve the SOTA DyTS performance by $2\sim 4$
orders of magnitude. Moreover, our model offers several real-time and
interactive video controls including motion speed, motion direction, and an
editing brush tool.
- Abstract(参考訳): 現在の動的テクスチャ合成(dyts)モデルは、リアルなビデオを合成することができる。
しかし、これらの手法では、単一の固定サイズショートビデオの合成に遅い反復的最適化プロセスが必要であり、合成プロセスに対する後処理制御は提供されない。
リアルタイムかつ制御可能な動的テクスチャ合成のためのフレームワークである動的ニューラルネットワークセルオートマタ(DyNCA)を提案する。
提案手法は,最近導入されたncaモデルに基づいて構築され,無限長かつ任意の大きさのテクスチャ映像をリアルタイムに合成する。
我々は,我々のモデルを定量的に質的に評価し,既存の結果よりもリアルに見えることを示す。
我々はSOTA DyTSの性能を$2\sim 4$で改善する。
さらに,動作速度,動作方向,編集用ブラシツールなど,リアルタイムかつインタラクティブな映像制御もいくつか提供している。
関連論文リスト
- Lumiere: A Space-Time Diffusion Model for Video Generation [75.54967294846686]
本研究では,一度にビデオ全体の時間的持続時間を生成する空間時間U-Netアーキテクチャを提案する。
これは、遠方から後続の時間超解像を合成する既存のビデオモデルとは対照的である。
空間的および(重要な)時間的ダウンサンプリングとアップサンプリングの両方をデプロイすることで、我々のモデルは、フルフレームレートで低解像度のビデオを直接生成することを学ぶ。
論文 参考訳(メタデータ) (2024-01-23T18:05:25Z) - Mesh Neural Cellular Automata [51.80062533524938]
UVマップを必要としない3次元メッシュ上で動的テクスチャを直接合成するメッシュニューラルセルラーオートマタ(MeshNCA)を提案する。
MeshNCAは優れた一般化を示し、トレーニング後に任意のメッシュ上でテクスチャをリアルタイムで合成することができる。
メッシュNCAモデルはメッシュ上でリアルタイムな3次元テクスチャ合成を可能にし,テクスチャ密度/配向制御,グラフトブラシ,動き速度/方向制御などのユーザインタラクションを実現する。
論文 参考訳(メタデータ) (2023-11-06T01:54:37Z) - MoStGAN-V: Video Generation with Temporal Motion Styles [28.082294960744726]
以前の作品は、自己回帰的な方法で、あるいは連続的な信号として時間に関して、任意の長さのビデオを生成しようと試みていた。
スタイルベースジェネレータの1つの時間に依存しない潜在ベクトルは、様々な時間的変動をモデル化するには不十分である。
多様な動きパターンをモデル化するために、時間依存の動作スタイルを導入する。
論文 参考訳(メタデータ) (2023-04-05T22:47:12Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳(メタデータ) (2022-11-20T20:57:02Z) - RoboCraft: Learning to See, Simulate, and Shape Elasto-Plastic Objects
with Graph Networks [32.00371492516123]
弾塑性物体のモデリングと操作のためのモデルベース計画フレームワークを提案する。
我々のシステムであるRoboCraftは、グラフニューラルネットワーク(GNN)を用いて粒子ベースの力学モデルを学び、基礎となるシステムの構造を捉える。
実世界のロボットインタラクションデータの10分で、ロボットは制御信号を合成し、弾塑性の物体を様々な形状に変形させるダイナミックスモデルを学習できることを示す。
論文 参考訳(メタデータ) (2022-05-05T20:28:15Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳(メタデータ) (2022-04-22T03:17:35Z) - Inferring Articulated Rigid Body Dynamics from RGBD Video [18.154013621342266]
我々は,逆レンダリングと微分可能なシミュレーションを組み合わせるパイプラインを導入し,実世界の調音機構のディジタルツインを作成する。
本手法はロボットが操作する関節機構のキネマティックツリーを正確に再構築する。
論文 参考訳(メタデータ) (2022-03-20T08:19:02Z) - Render In-between: Motion Guided Video Synthesis for Action
Interpolation [53.43607872972194]
本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。
大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。
私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
論文 参考訳(メタデータ) (2021-11-01T15:32:51Z) - Real-time Deep Dynamic Characters [95.5592405831368]
本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。
我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。
本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
論文 参考訳(メタデータ) (2021-05-04T23:28:55Z) - Dynamic Texture Synthesis by Incorporating Long-range Spatial and
Temporal Correlations [27.247382497265214]
我々は、参照テクスチャビデオの構造的および長距離相関を捉えるために、Shifted Gram lossと呼ばれる新しい損失項を導入する。
また,複数フレーム間の長周期動作を利用したフレームサンプリング戦略も導入する。
論文 参考訳(メタデータ) (2021-04-13T05:04:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。