論文の概要: 3D Video Loops from Asynchronous Input
- arxiv url: http://arxiv.org/abs/2303.05312v1
- Date: Thu, 9 Mar 2023 15:00:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-10 14:33:54.714566
- Title: 3D Video Loops from Asynchronous Input
- Title(参考訳): 非同期入力からの3次元ビデオループ
- Authors: Li Ma and Xiaoyu Li and Jing Liao and Pedro V. Sander
- Abstract要約: ループ動画は短いビデオクリップで、目に見えるシームやアーティファクトを使わずに無限にループできる。
本稿では,動的3次元ループシーンにおける没入型体験を実現するための実用的なソリューションを提案する。
このフレームワークの実験では,モバイルデバイス上でもリアルタイムに3Dループビデオの生成とレンダリングを成功させる可能性が示された。
- 参考スコア(独自算出の注目度): 22.52716577813998
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Looping videos are short video clips that can be looped endlessly without
visible seams or artifacts. They provide a very attractive way to capture the
dynamism of natural scenes. Existing methods have been mostly limited to 2D
representations. In this paper, we take a step forward and propose a practical
solution that enables an immersive experience on dynamic 3D looping scenes. The
key challenge is to consider the per-view looping conditions from asynchronous
input while maintaining view consistency for the 3D representation. We propose
a novel sparse 3D video representation, namely Multi-Tile Video (MTV), which
not only provides a view-consistent prior, but also greatly reduces memory
usage, making the optimization of a 4D volume tractable. Then, we introduce a
two-stage pipeline to construct the 3D looping MTV from completely asynchronous
multi-view videos with no time overlap. A novel looping loss based on video
temporal retargeting algorithms is adopted during the optimization to loop the
3D scene. Experiments of our framework have shown promise in successfully
generating and rendering photorealistic 3D looping videos in real time even on
mobile devices. The code, dataset, and live demos are available in
https://limacv.github.io/VideoLoop3D_web/.
- Abstract(参考訳): ループ動画は短いビデオクリップで、目に見えるシームやアーティファクトを使わずに無限にループできる。
自然の風景のダイナミズムを捉える非常に魅力的な方法を提供する。
既存の方法は2D表現に限られている。
本稿では,動的3次元ループシーンにおける没入型体験を実現するための実用的なソリューションを提案する。
重要な課題は、3D表現のビュー一貫性を維持しながら、非同期入力からビュー毎のループ条件を検討することである。
本稿では,MTV(Multi-Tile Video)という新しい3Dビデオ表現法を提案する。これは,ビューに一貫性があるだけでなく,メモリ使用量を大幅に削減し,4Dボリュームの最適化を可能にする。
そして、完全に非同期なマルチビュービデオから3DループMTVを構築するための2段階パイプラインを導入する。
3Dシーンをループする最適化において,ビデオ時間的リターゲティングアルゴリズムに基づく新たなループ損失が採用された。
本フレームワークの実験では,モバイルデバイス上でもリアルタイムに3Dループ映像を撮影・レンダリングできることが示されている。
コード、データセット、ライブデモはhttps://limacv.github.io/VideoLoop3D_web/で公開されている。
関連論文リスト
- V3D: Video Diffusion Models are Effective 3D Generators [19.33837029942662]
本稿では、事前学習したビデオ拡散モデルの世界シミュレーション能力を活用して、3D生成を容易にするV3Dを紹介する。
これを利用して、最先端のビデオ拡散モデルを微調整して、1つの画像が与えられた物体を囲む360度軌道フレームを生成することができる。
提案手法はシーンレベルの新規ビュー合成に拡張可能であり,スパース・インプット・ビューによるカメラ・パスの正確な制御を実現する。
論文 参考訳(メタデータ) (2024-03-11T14:03:36Z) - Fast Dynamic 3D Object Generation from a Single-view Video [45.996494048942075]
本稿では,効率的な4Dオブジェクト生成フレームワークであるEfficient4Dを提案する。
異なるカメラビューの下で高品質な時空一貫性の画像を生成し、ラベル付きデータとして使用する。
合成ビデオと実ビデオの実験によると、Efficient4Dのスピードは10倍に向上している。
論文 参考訳(メタデータ) (2024-01-16T18:58:36Z) - 4DGen: Grounded 4D Content Generation with Spatial-temporal Consistency [126.75952654863667]
この4DGenは、4Dコンテンツ作成のための新しいフレームワークである。
静的な3Dアセットとモノクロビデオシーケンスを4Dコンテンツ構築のキーコンポーネントとして同定する。
我々のパイプラインは条件付き4D生成を容易にし、ユーザーは幾何学(3Dアセット)と運動(眼球ビデオ)を指定できる。
論文 参考訳(メタデータ) (2023-12-28T18:53:39Z) - Generating Continual Human Motion in Diverse 3D Scenes [56.70255926954609]
本研究では,3次元シーンにまたがる人間の動きを誘導するアニメーターを合成する手法を提案する。
本研究では,連続的な動作合成問題を経路に沿って歩行し,キーポイントが指定した動作の内外への遷移に分解する。
我々のモデルは、つかんだり、座ったり、傾いたりといった多様な行動の長いシーケンスを生成することができる。
論文 参考訳(メタデータ) (2023-04-04T18:24:22Z) - Video2StyleGAN: Encoding Video in Latent Space for Manipulation [63.03250800510085]
本稿では,顔映像のセマンティックな操作のために,顔映像をStyleGANの潜在空間に符号化する新しいネットワークを提案する。
提案手法は,リアルタイム(66fps)の高速化を実現しつつ,既存の単一画像手法よりも大幅に優れる。
論文 参考訳(メタデータ) (2022-06-27T06:48:15Z) - Playable Environments: Video Manipulation in Space and Time [98.0621309257937]
再生可能な環境 - 空間と時間におけるインタラクティブなビデオ生成と操作のための新しい表現。
提案フレームワークでは,1枚の画像を推論時に生成し,対象物を3次元に移動させ,所望のアクションを連続して生成する。
提案手法は,各フレームの環境状態を構築し,提案したアクションモジュールで操作し,ボリュームレンダリングで画像空間に復号化することができる。
論文 参考訳(メタデータ) (2022-03-03T18:51:05Z) - Video Autoencoder: self-supervised disentanglement of static 3D
structure and motion [60.58836145375273]
ビデオから3次元構造とカメラポーズの遠心分離表現を学習するために,ビデオオートエンコーダを提案する。
この表現は、新しいビュー合成、カメラポーズ推定、動きの追従によるビデオ生成など、様々なタスクに適用することができる。
論文 参考訳(メタデータ) (2021-10-06T17:57:42Z) - Deep 3D Mask Volume for View Synthesis of Dynamic Scenes [49.45028543279115]
120FPSのカスタム10カメラリグでキャプチャしたマルチビュービデオデータセットを提案する。
データセットには、屋外シーンにおけるさまざまな視覚効果と人間の相互作用を示す96の高品質なシーンが含まれている。
我々は,静的カメラで捉えた動的シーンの双眼映像から時間的に安定な視線外挿を可能にする新しいアルゴリズムであるDeep 3D Mask Volumeを開発した。
論文 参考訳(メタデータ) (2021-08-30T17:55:28Z) - DVI: Depth Guided Video Inpainting for Autonomous Driving [35.94330601020169]
本稿では,ビデオからトラヒックエージェントを除去する自動インペイントアルゴリズムを提案する。
縫合された点雲から密集した3Dマップを構築することで、ビデオ内のフレームは幾何学的に相関する。
われわれは、ビデオのインペイントのために複数のビデオを融合した最初の人物だ。
論文 参考訳(メタデータ) (2020-07-17T09:29:53Z) - World-Consistent Video-to-Video Synthesis [35.617437747886484]
レンダリング中に過去のすべてのフレームを効率的に活用する新しいvid2vidフレームワークを提案する。
これは、これまでレンダリングされた3D世界を、現在のフレームの物理的に基底化された推定に凝縮することで達成される。
誘導画像に格納された情報を活用する新しいニューラルネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-07-16T17:58:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。