論文の概要: EasyVolcap: Accelerating Neural Volumetric Video Research
- arxiv url: http://arxiv.org/abs/2312.06575v1
- Date: Mon, 11 Dec 2023 17:59:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 14:45:16.578444
- Title: EasyVolcap: Accelerating Neural Volumetric Video Research
- Title（参考訳）: EasyVolcap: 高速なニューラルボリュームビデオ研究
- Authors: Zhen Xu, Tao Xie, Sida Peng, Haotong Lin, Qing Shuai, Zhiyuan Yu,
Guangzhao He, Jiaming Sun, Hujun Bao, Xiaowei Zhou
- Abstract要約: ボリュームビデオは、芸術的パフォーマンス、スポーツイベント、リモート会話などの動的イベントをデジタル的に記録する技術である。
EasyVolcapはPythonとPytorchのライブラリで、マルチビューデータ処理、4Dシーン再構成、効率的なダイナミックボリュームビデオレンダリングのプロセスを統一する。
- 参考スコア（独自算出の注目度）: 69.59671164891725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Volumetric video is a technology that digitally records dynamic events such
as artistic performances, sporting events, and remote conversations. When
acquired, such volumography can be viewed from any viewpoint and timestamp on
flat screens, 3D displays, or VR headsets, enabling immersive viewing
experiences and more flexible content creation in a variety of applications
such as sports broadcasting, video conferencing, gaming, and movie productions.
With the recent advances and fast-growing interest in neural scene
representations for volumetric video, there is an urgent need for a unified
open-source library to streamline the process of volumetric video capturing,
reconstruction, and rendering for both researchers and non-professional users
to develop various algorithms and applications of this emerging technology. In
this paper, we present EasyVolcap, a Python & Pytorch library for accelerating
neural volumetric video research with the goal of unifying the process of
multi-view data processing, 4D scene reconstruction, and efficient dynamic
volumetric video rendering. Our source code is available at
https://github.com/zju3dv/EasyVolcap.
- Abstract（参考訳）: ボリュームビデオは、芸術的パフォーマンス、スポーツイベント、遠隔会話などの動的イベントをデジタル的に記録する技術である。
取得すると、どんな視点からでも、平らなスクリーンや3Dディスプレイ、VRヘッドセットでタイムスタンプを見ることができ、スポーツ放送、ビデオ会議、ゲーム、映画製作など、様々なアプリケーションで没入的な視聴体験とより柔軟なコンテンツ作成が可能になる。
近年の進歩と、ボリュームビデオのニューラルシーン表現への関心の高まりにより、この新興技術の様々なアルゴリズムと応用を開発するために、ボリュームビデオキャプチャー、再構成、レンダリングのプロセスを効率化するための統一されたオープンソースライブラリが緊急に必要である。
本稿では,多視点データ処理,4次元シーン再構成,効率的な動的ボリュームビデオレンダリングのプロセスを統合することを目的として,神経体積ビデオ研究を加速するpython & pytorchライブラリであるeasyvolcapを提案する。
ソースコードはhttps://github.com/zju3dv/EasyVolcap.comから入手可能です。
関連論文リスト
- Generative Camera Dolly: Extreme Monocular Dynamic Novel View Synthesis [43.02778060969546]
制御可能な単分子動的ビュー合成パイプラインを提案する。
我々のモデルは入力として深度を必要としないし、明示的に3次元シーン形状をモデル化しない。
私たちのフレームワークは、リッチな動的シーン理解、ロボット工学の知覚、バーチャルリアリティのためのインタラクティブな3Dビデオ視聴体験において、強力なアプリケーションをアンロックできる可能性があると考えています。
論文 参考訳（メタデータ） (2024-05-23T17:59:52Z) - Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。
本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。
筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
論文 参考訳（メタデータ） (2024-02-05T16:30:49Z) - Deep Neural Networks in Video Human Action Recognition: A Review [21.00217656391331]
映像行動認識はコンピュータビジョンの最も基本的なタスクの1つである。
ディープニューラルネットワークは、RGB、RGB-D、光学フローフォーマットなどの画像のようなピクセルレベルの情報を認識するために構築されている。
本稿では,深層ニューラルネットワークの性能が,特徴学習および抽出タスクにおけるほとんどの技術を上回った。
論文 参考訳（メタデータ） (2023-05-25T03:54:41Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳（メタデータ） (2022-11-20T20:57:02Z) - Playable Environments: Video Manipulation in Space and Time [98.0621309257937]
再生可能な環境 - 空間と時間におけるインタラクティブなビデオ生成と操作のための新しい表現。
提案フレームワークでは,1枚の画像を推論時に生成し,対象物を3次元に移動させ,所望のアクションを連続して生成する。
提案手法は,各フレームの環境状態を構築し,提案したアクションモジュールで操作し,ボリュームレンダリングで画像空間に復号化することができる。
論文 参考訳（メタデータ） (2022-03-03T18:51:05Z) - Geometry-Aware Multi-Task Learning for Binaural Audio Generation from
Video [94.42811508809994]
本研究では,映像中の視覚情報に基づいてモノラル(単一チャンネル)音声を音声に変換する音声空間化手法を提案する。
既存の手法では,映像フレームから直接抽出した視覚的特徴を活用するが,この手法は視覚ストリームに存在する幾何学的手がかりを明示的に切り離し,学習過程を導出する。
論文 参考訳（メタデータ） (2021-11-21T19:26:45Z) - A Good Image Generator Is What You Need for High-Resolution Video
Synthesis [73.82857768949651]
現代画像生成装置を用いて高解像度映像のレンダリングを行うフレームワークを提案する。
我々は,映像合成問題を,予め訓練された固定された画像生成装置の潜時空間における軌跡の発見とみなす。
本稿では,コンテンツや動きが絡み合っている所望の軌跡を検出するモーションジェネレータを提案する。
論文 参考訳（メタデータ） (2021-04-30T15:38:41Z) - Human action recognition with a large-scale brain-inspired photonic
computer [0.774229787612056]
ビデオストリームにおける人間の行動の認識は、コンピュータビジョンにおいて難しい課題である。
ディープラーニングは近年顕著な成果を上げているが、実際に使うのが難しくなっている。
本稿では,映像に基づく人間の動作を最先端の精度で認識できる,スケーラブルなフォトニックニューロインスパイアアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-04-06T10:39:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。