論文の概要: 3D Video Loops from Asynchronous Input

• arxiv url: http://arxiv.org/abs/2303.05312v2
• Date: Tue, 21 Mar 2023 11:01:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-23 23:09:38.708118
• Title: 3D Video Loops from Asynchronous Input
• Title（参考訳）: 非同期入力からの3次元ビデオループ
• Authors: Li Ma and Xiaoyu Li and Jing Liao and Pedro V. Sander
• Abstract要約: ループ動画は短いビデオクリップで、目に見えるシームやアーティファクトを使わずに無限にループできる。 本稿では,動的3次元ループシーンにおける没入型体験を実現するための実用的なソリューションを提案する。 このフレームワークの実験では,モバイルデバイス上でもリアルタイムに3Dループビデオの生成とレンダリングを成功させる可能性が示された。
• 参考スコア（独自算出の注目度）: 22.52716577813998
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Looping videos are short video clips that can be looped endlessly without visible seams or artifacts. They provide a very attractive way to capture the dynamism of natural scenes. Existing methods have been mostly limited to 2D representations. In this paper, we take a step forward and propose a practical solution that enables an immersive experience on dynamic 3D looping scenes. The key challenge is to consider the per-view looping conditions from asynchronous input while maintaining view consistency for the 3D representation. We propose a novel sparse 3D video representation, namely Multi-Tile Video (MTV), which not only provides a view-consistent prior, but also greatly reduces memory usage, making the optimization of a 4D volume tractable. Then, we introduce a two-stage pipeline to construct the 3D looping MTV from completely asynchronous multi-view videos with no time overlap. A novel looping loss based on video temporal retargeting algorithms is adopted during the optimization to loop the 3D scene. Experiments of our framework have shown promise in successfully generating and rendering photorealistic 3D looping videos in real time even on mobile devices. The code, dataset, and live demos are available in https://limacv.github.io/VideoLoop3D_web/.
• Abstract（参考訳）: ループ動画は短いビデオクリップで、目に見えるシームやアーティファクトを使わずに無限にループできる。 自然の風景のダイナミズムを捉える非常に魅力的な方法を提供する。 既存の方法は2D表現に限られている。 本稿では,動的3次元ループシーンにおける没入型体験を実現するための実用的なソリューションを提案する。 重要な課題は、3D表現のビュー一貫性を維持しながら、非同期入力からビュー毎のループ条件を検討することである。 本稿では,MTV(Multi-Tile Video)という新しい3Dビデオ表現法を提案する。これは,ビューに一貫性があるだけでなく,メモリ使用量を大幅に削減し,4Dボリュームの最適化を可能にする。 そして、完全に非同期なマルチビュービデオから3DループMTVを構築するための2段階パイプラインを導入する。 3Dシーンをループする最適化において,ビデオ時間的リターゲティングアルゴリズムに基づく新たなループ損失が採用された。 本フレームワークの実験では,モバイルデバイス上でもリアルタイムに3Dループ映像を撮影・レンダリングできることが示されている。 コード、データセット、ライブデモはhttps://limacv.github.io/VideoLoop3D_web/で公開されている。

関連論文リスト

• Deblur4DGS: 4D Gaussian Splatting from Blurry Monocular Video [64.38566659338751]
  Deblur4DGSという,ぼやけたモノクロビデオから高品質な4Dモデルを再構成するための,最初の4Dガウス分割フレームワークを提案する。 本稿では,多面的,多面的整合性,多面的,多面的,多面的な整合性を実現するために露光規則化を導入し,斬新な視点以外では,デブレア4DGSは,デブロアリング,フレーム合成,ビデオ安定化など,多面的な視点からぼやけた映像を改善するために応用できる。
  論文  参考訳（メタデータ） (2024-12-09T12:02:11Z)
• PaintScene4D: Consistent 4D Scene Generation from Text Prompts [29.075849524496707]
  PaintScene4Dは、新しいテキストから4Dのシーン生成フレームワークである。 さまざまな現実世界のデータセットでトレーニングされたビデオ生成モデルを活用する。 任意の軌道から見ることができるリアルな4Dシーンを生成する。
  論文  参考訳（メタデータ） (2024-12-05T18:59:57Z)
• Tex4D: Zero-shot 4D Scene Texturing with Video Diffusion Models [54.35214051961381]
  3Dメッシュはコンピュータビジョンとグラフィックスにおいて、アニメーションの効率と映画、ゲーム、AR、VRにおける最小限のメモリ使用のために広く利用されている。 しかし、メッシュのための時間的一貫性と現実的なテクスチャを作成することは、プロのアーティストにとって労働集約的だ。 本稿では、メッシュ配列から固有の幾何学とビデオ拡散モデルを統合することで、一貫したテクスチャを生成する3Dテクスチャシーケンスを提案する。
  論文  参考訳（メタデータ） (2024-10-14T17:59:59Z)
• EmbodiedSAM: Online Segment Any 3D Thing in Real Time [61.2321497708998]
  身体的なタスクは、エージェントが探索と同時に3Dシーンを完全に理解する必要がある。 オンライン、リアルタイム、微粒化、高度に一般化された3D知覚モデルは、必死に必要である。
  論文  参考訳（メタデータ） (2024-08-21T17:57:06Z)
• OSN: Infinite Representations of Dynamic 3D Scenes from Monocular Videos [7.616167860385134]
  モノクラーRGBビデオから基礎となる動的3Dシーンの表現を復元することは、長い間困難であった。 我々はOSNと呼ばれる新しいフレームワークを導入し、入力ビデオにマッチする高機能な3Dシーン構成を学習する。 本手法は, きめ細かい3次元シーン形状を学習する上で, 明らかな優位性を示す。
  論文  参考訳（メタデータ） (2024-07-08T05:03:46Z)
• Vid3D: Synthesis of Dynamic 3D Scenes using 2D Video Diffusion [3.545941891218148]
  本稿では,現在のアプローチのように時間とともに多視点一貫性を明示的に実施する必要があるか,あるいはモデルが各タイムステップの3次元表現を独立に生成するのに十分なのかを検討する。 本稿では,2次元映像拡散を利用して3次元映像を生成するモデルVid3Dを提案する。
  論文  参考訳（メタデータ） (2024-06-17T04:09:04Z)
• CAT3D: Create Anything in 3D with Multi-View Diffusion Models [87.80820708758317]
  CAT3D(CAT3D)は,この実世界のキャプチャプロセスを多視点拡散モデルでシミュレートし,任意のものを3Dで作成する手法である。 CAT3Dは1分で3Dシーン全体を作成できる。
  論文  参考訳（メタデータ） (2024-05-16T17:59:05Z)
• LoopGaussian: Creating 3D Cinemagraph with Multi-view Images via Eulerian Motion Field [13.815932949774858]
  シネマグラフ(Cinemagraph)は、静止画と微妙な動きの要素を組み合わせた視覚メディアの一種である。 本稿では,3次元ガウスモデルを用いて,2次元画像空間から3次元空間への撮影画像の高次化を提案する。 実験の結果,提案手法の有効性を検証し,高品質で視覚的に魅力的なシーン生成を実証した。
  論文  参考訳（メタデータ） (2024-04-13T11:07:53Z)
• Generating Continual Human Motion in Diverse 3D Scenes [51.90506920301473]
  本研究では,3次元シーンにまたがる人間の動きを誘導するアニメーターを合成する手法を提案する。 本研究では,連続的な動作合成問題を経路に沿って歩行し,キーポイントが指定した動作の内外への遷移に分解する。 我々のモデルは、つかんだり、座ったり、傾いたりといった多様な行動の長いシーケンスを生成することができる。
  論文  参考訳（メタデータ） (2023-04-04T18:24:22Z)
• Deep 3D Mask Volume for View Synthesis of Dynamic Scenes [49.45028543279115]
  120FPSのカスタム10カメラリグでキャプチャしたマルチビュービデオデータセットを提案する。 データセットには、屋外シーンにおけるさまざまな視覚効果と人間の相互作用を示す96の高品質なシーンが含まれている。 我々は,静的カメラで捉えた動的シーンの双眼映像から時間的に安定な視線外挿を可能にする新しいアルゴリズムであるDeep 3D Mask Volumeを開発した。
  論文  参考訳（メタデータ） (2021-08-30T17:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。