論文の概要: DyNCA: Real-time Dynamic Texture Synthesis Using Neural Cellular
Automata
- arxiv url: http://arxiv.org/abs/2211.11417v2
- Date: Thu, 30 Mar 2023 21:56:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-03 17:09:01.853360
- Title: DyNCA: Real-time Dynamic Texture Synthesis Using Neural Cellular
Automata
- Title(参考訳): DyNCA:ニューラルセルオートマタを用いたリアルタイム動的テクスチャ合成
- Authors: Ehsan Pajouheshgar, Yitao Xu, Tong Zhang, Sabine S\"usstrunk
- Abstract要約: リアルタイムかつ制御可能な動的テクスチャ合成のためのフレームワークである動的ニューラルセルオートマタ(DyNCA)を提案する。
提案手法は,最近導入されたNAAモデルに基づいて,無限に長い任意の大きさのリアルな映像テクスチャをリアルタイムで合成することができる。
我々のモデルは、動き速度、動き方向、編集用ブラシツールなど、いくつかのリアルタイムビデオ制御を提供する。
- 参考スコア(独自算出の注目度): 12.05119084381406
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Current Dynamic Texture Synthesis (DyTS) models can synthesize realistic
videos. However, they require a slow iterative optimization process to
synthesize a single fixed-size short video, and they do not offer any
post-training control over the synthesis process. We propose Dynamic Neural
Cellular Automata (DyNCA), a framework for real-time and controllable dynamic
texture synthesis. Our method is built upon the recently introduced NCA models
and can synthesize infinitely long and arbitrary-sized realistic video textures
in real time. We quantitatively and qualitatively evaluate our model and show
that our synthesized videos appear more realistic than the existing results. We
improve the SOTA DyTS performance by $2\sim 4$ orders of magnitude. Moreover,
our model offers several real-time video controls including motion speed,
motion direction, and an editing brush tool. We exhibit our trained models in
an online interactive demo that runs on local hardware and is accessible on
personal computers and smartphones.
- Abstract(参考訳): 現在の動的テクスチャ合成(DyTS)モデルは、リアルなビデオを合成することができる。
しかし、単一の固定サイズショートビデオの合成には遅い反復最適化プロセスが必要であり、合成プロセスに対する後処理制御は提供されない。
リアルタイムかつ制御可能な動的テクスチャ合成のためのフレームワークである動的ニューラルネットワークセルオートマタ(DyNCA)を提案する。
提案手法は,最近導入されたncaモデルに基づき,無限に長大かつ任意の大きさの映像テクスチャをリアルタイムに合成する。
我々は,我々のモデルを定量的に質的に評価し,既存の結果よりもリアルに見えることを示す。
我々はSOTA DyTSの性能を$2\sim 4$で改善する。
さらに,動作速度,動作方向,編集用ブラシツールなど,複数のリアルタイムビデオ制御も提供する。
トレーニングされたモデルを、ローカルハードウェア上で動作し、パーソナルコンピュータやスマートフォンでアクセス可能なオンラインインタラクティブなデモで展示します。
関連論文リスト
- Video2Game: Real-time, Interactive, Realistic and Browser-Compatible Environment from a Single Video [23.484070818399]
Video2Gameは、現実世界のシーンのビデオを自動的にリアルでインタラクティブなゲーム環境に変換する新しいアプローチである。
リアルタイムに高リアルなレンダリングを作成できるだけでなく、インタラクティブなゲームも構築できることが示されています。
論文 参考訳(メタデータ) (2024-04-15T14:32:32Z) - TC4D: Trajectory-Conditioned Text-to-4D Generation [98.2505675929786]
提案するTC4D: trajectory-conditioned text-to-4D 生成は,グローバルおよびローカルなコンポーネントへの移動を要因とする。
我々は,テキスト・ビデオ・モデルから,グローバルな軌跡に適合する局所的な変形を観察する。
提案手法は,任意の軌跡に沿ってアニメーションされたシーンの合成,構成シーンの生成,および生成した動きのリアリズムと量に対する大幅な改善を可能にする。
論文 参考訳(メタデータ) (2024-03-26T17:55:11Z) - Lumiere: A Space-Time Diffusion Model for Video Generation [75.54967294846686]
本研究では,一度にビデオ全体の時間的持続時間を生成する空間時間U-Netアーキテクチャを提案する。
これは、遠方から後続の時間超解像を合成する既存のビデオモデルとは対照的である。
空間的および(重要な)時間的ダウンサンプリングとアップサンプリングの両方をデプロイすることで、我々のモデルは、フルフレームレートで低解像度のビデオを直接生成することを学ぶ。
論文 参考訳(メタデータ) (2024-01-23T18:05:25Z) - Mesh Neural Cellular Automata [51.80062533524938]
UVマップを必要としない3次元メッシュ上で動的テクスチャを直接合成するメッシュニューラルセルラーオートマタ(MeshNCA)を提案する。
MeshNCAは優れた一般化を示し、トレーニング後に任意のメッシュ上でテクスチャをリアルタイムで合成することができる。
メッシュNCAモデルはメッシュ上でリアルタイムな3次元テクスチャ合成を可能にし,テクスチャ密度/配向制御,グラフトブラシ,動き速度/方向制御などのユーザインタラクションを実現する。
論文 参考訳(メタデータ) (2023-11-06T01:54:37Z) - MoStGAN-V: Video Generation with Temporal Motion Styles [28.082294960744726]
以前の作品は、自己回帰的な方法で、あるいは連続的な信号として時間に関して、任意の長さのビデオを生成しようと試みていた。
スタイルベースジェネレータの1つの時間に依存しない潜在ベクトルは、様々な時間的変動をモデル化するには不十分である。
多様な動きパターンをモデル化するために、時間依存の動作スタイルを導入する。
論文 参考訳(メタデータ) (2023-04-05T22:47:12Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳(メタデータ) (2022-11-20T20:57:02Z) - RoboCraft: Learning to See, Simulate, and Shape Elasto-Plastic Objects
with Graph Networks [32.00371492516123]
弾塑性物体のモデリングと操作のためのモデルベース計画フレームワークを提案する。
我々のシステムであるRoboCraftは、グラフニューラルネットワーク(GNN)を用いて粒子ベースの力学モデルを学び、基礎となるシステムの構造を捉える。
実世界のロボットインタラクションデータの10分で、ロボットは制御信号を合成し、弾塑性の物体を様々な形状に変形させるダイナミックスモデルを学習できることを示す。
論文 参考訳(メタデータ) (2022-05-05T20:28:15Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳(メタデータ) (2022-04-22T03:17:35Z) - Inferring Articulated Rigid Body Dynamics from RGBD Video [18.154013621342266]
我々は,逆レンダリングと微分可能なシミュレーションを組み合わせるパイプラインを導入し,実世界の調音機構のディジタルツインを作成する。
本手法はロボットが操作する関節機構のキネマティックツリーを正確に再構築する。
論文 参考訳(メタデータ) (2022-03-20T08:19:02Z) - Real-time Deep Dynamic Characters [95.5592405831368]
本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。
我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。
本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
論文 参考訳(メタデータ) (2021-05-04T23:28:55Z) - Dynamic Texture Synthesis by Incorporating Long-range Spatial and
Temporal Correlations [27.247382497265214]
我々は、参照テクスチャビデオの構造的および長距離相関を捉えるために、Shifted Gram lossと呼ばれる新しい損失項を導入する。
また,複数フレーム間の長周期動作を利用したフレームサンプリング戦略も導入する。
論文 参考訳(メタデータ) (2021-04-13T05:04:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。