論文の概要: DyNCA: Real-time Dynamic Texture Synthesis Using Neural Cellular Automata

• arxiv url: http://arxiv.org/abs/2211.11417v2
• Date: Thu, 30 Mar 2023 21:56:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-03 17:09:01.853360
• Title: DyNCA: Real-time Dynamic Texture Synthesis Using Neural Cellular Automata
• Title（参考訳）: DyNCA:ニューラルセルオートマタを用いたリアルタイム動的テクスチャ合成
• Authors: Ehsan Pajouheshgar, Yitao Xu, Tong Zhang, Sabine S\"usstrunk
• Abstract要約: リアルタイムかつ制御可能な動的テクスチャ合成のためのフレームワークである動的ニューラルセルオートマタ(DyNCA)を提案する。 提案手法は,最近導入されたNAAモデルに基づいて,無限に長い任意の大きさのリアルな映像テクスチャをリアルタイムで合成することができる。 我々のモデルは、動き速度、動き方向、編集用ブラシツールなど、いくつかのリアルタイムビデオ制御を提供する。
• 参考スコア（独自算出の注目度）: 12.05119084381406
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Current Dynamic Texture Synthesis (DyTS) models can synthesize realistic videos. However, they require a slow iterative optimization process to synthesize a single fixed-size short video, and they do not offer any post-training control over the synthesis process. We propose Dynamic Neural Cellular Automata (DyNCA), a framework for real-time and controllable dynamic texture synthesis. Our method is built upon the recently introduced NCA models and can synthesize infinitely long and arbitrary-sized realistic video textures in real time. We quantitatively and qualitatively evaluate our model and show that our synthesized videos appear more realistic than the existing results. We improve the SOTA DyTS performance by $2\sim 4$ orders of magnitude. Moreover, our model offers several real-time video controls including motion speed, motion direction, and an editing brush tool. We exhibit our trained models in an online interactive demo that runs on local hardware and is accessible on personal computers and smartphones.
• Abstract（参考訳）: 現在の動的テクスチャ合成(DyTS)モデルは、リアルなビデオを合成することができる。 しかし、単一の固定サイズショートビデオの合成には遅い反復最適化プロセスが必要であり、合成プロセスに対する後処理制御は提供されない。 リアルタイムかつ制御可能な動的テクスチャ合成のためのフレームワークである動的ニューラルネットワークセルオートマタ(DyNCA)を提案する。 提案手法は,最近導入されたncaモデルに基づき,無限に長大かつ任意の大きさの映像テクスチャをリアルタイムに合成する。 我々は,我々のモデルを定量的に質的に評価し,既存の結果よりもリアルに見えることを示す。 我々はSOTA DyTSの性能を$2\sim 4$で改善する。 さらに,動作速度,動作方向,編集用ブラシツールなど,複数のリアルタイムビデオ制御も提供する。 トレーニングされたモデルを、ローカルハードウェア上で動作し、パーソナルコンピュータやスマートフォンでアクセス可能なオンラインインタラクティブなデモで展示します。

関連論文リスト

• Generative Camera Dolly: Extreme Monocular Dynamic Novel View Synthesis [43.02778060969546]
  制御可能な単分子動的ビュー合成パイプラインを提案する。 我々のモデルは入力として深度を必要としないし、明示的に3次元シーン形状をモデル化しない。 私たちのフレームワークは、リッチな動的シーン理解、ロボット工学の知覚、バーチャルリアリティのためのインタラクティブな3Dビデオ視聴体験において、強力なアプリケーションをアンロックできる可能性があると考えています。
  論文  参考訳（メタデータ） (2024-05-23T17:59:52Z)
• TC4D: Trajectory-Conditioned Text-to-4D Generation [94.90700997568158]
  提案するTC4D: trajectory-conditioned text-to-4D 生成は,グローバルおよびローカルなコンポーネントへの移動を要因とする。 我々は,テキスト・ビデオ・モデルから,グローバルな軌跡に適合する局所的な変形を観察する。 提案手法は,任意の軌跡に沿ってアニメーションされたシーンの合成,構成シーンの生成,および生成した動きのリアリズムと量に対する大幅な改善を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:55:11Z)
• Lumiere: A Space-Time Diffusion Model for Video Generation [75.54967294846686]
  本研究では,一度にビデオ全体の時間的持続時間を生成する空間時間U-Netアーキテクチャを提案する。 これは、遠方から後続の時間超解像を合成する既存のビデオモデルとは対照的である。 空間的および(重要な)時間的ダウンサンプリングとアップサンプリングの両方をデプロイすることで、我々のモデルは、フルフレームレートで低解像度のビデオを直接生成することを学ぶ。
  論文  参考訳（メタデータ） (2024-01-23T18:05:25Z)
• Interactive Character Control with Auto-Regressive Motion Diffusion Models [18.727066177880708]
  リアルタイム動作合成のためのA-MDM(Auto-Regressive Motion Diffusion Model)を提案する。 我々の条件拡散モデルは初期ポーズを入力とし、前者のフレームに条件付けられた連続した動きフレームを自動回帰的に生成する。 本稿では,タスク指向サンプリング,インペインティング,階層的強化学習など,対話型制御をA-MDMに組み込む一連の手法を紹介する。
  論文  参考訳（メタデータ） (2023-06-01T07:48:34Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• RoboCraft: Learning to See, Simulate, and Shape Elasto-Plastic Objects with Graph Networks [32.00371492516123]
  弾塑性物体のモデリングと操作のためのモデルベース計画フレームワークを提案する。 我々のシステムであるRoboCraftは、グラフニューラルネットワーク(GNN)を用いて粒子ベースの力学モデルを学び、基礎となるシステムの構造を捉える。 実世界のロボットインタラクションデータの10分で、ロボットは制御信号を合成し、弾塑性の物体を様々な形状に変形させるダイナミックスモデルを学習できることを示す。
  論文  参考訳（メタデータ） (2022-05-05T20:28:15Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• Inferring Articulated Rigid Body Dynamics from RGBD Video [18.154013621342266]
  我々は,逆レンダリングと微分可能なシミュレーションを組み合わせるパイプラインを導入し,実世界の調音機構のディジタルツインを作成する。 本手法はロボットが操作する関節機構のキネマティックツリーを正確に再構築する。
  論文  参考訳（メタデータ） (2022-03-20T08:19:02Z)
• Render In-between: Motion Guided Video Synthesis for Action Interpolation [53.43607872972194]
  本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。 大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。 私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
  論文  参考訳（メタデータ） (2021-11-01T15:32:51Z)
• Real-time Deep Dynamic Characters [95.5592405831368]
  本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。 我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。 本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
  論文  参考訳（メタデータ） (2021-05-04T23:28:55Z)
• Dynamic Texture Synthesis by Incorporating Long-range Spatial and Temporal Correlations [27.247382497265214]
  我々は、参照テクスチャビデオの構造的および長距離相関を捉えるために、Shifted Gram lossと呼ばれる新しい損失項を導入する。 また,複数フレーム間の長周期動作を利用したフレームサンプリング戦略も導入する。
  論文  参考訳（メタデータ） (2021-04-13T05:04:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。