論文の概要: DiVa-360: The Dynamic Visual Dataset for Immersive Neural Fields

• arxiv url: http://arxiv.org/abs/2307.16897v2
• Date: Tue, 26 Mar 2024 17:40:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 01:20:23.376251
• Title: DiVa-360: The Dynamic Visual Dataset for Immersive Neural Fields
• Title（参考訳）: DiVa-360: 没入型ニューラルネットワークのための動的ビジュアルデータセット
• Authors: Cheng-You Lu, Peisen Zhou, Angela Xing, Chandradeep Pokhariya, Arnab Dey, Ishaan Shah, Rugved Mavidipalli, Dylan Hu, Andrew Comport, Kefan Chen, Srinath Sridhar,
• Abstract要約: DiVa-360は、リアルタイムの360度ダイナミック・ヴィジュアル・データセットであり、同期された高解像度および長期のマルチビュー・ビデオ・シーケンスを含んでいる。 我々は、Diva-360上で最先端の動的ニューラルネットワーク手法をベンチマークし、既存の手法と長期的ニューラルネットワークキャプチャにおける今後の課題について考察する。
• 参考スコア（独自算出の注目度）: 3.94718692655789
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Advances in neural fields are enabling high-fidelity capture of the shape and appearance of dynamic 3D scenes. However, their capabilities lag behind those offered by conventional representations such as 2D videos because of algorithmic challenges and the lack of large-scale multi-view real-world datasets. We address the dataset limitation with DiVa-360, a real-world 360 dynamic visual dataset that contains synchronized high-resolution and long-duration multi-view video sequences of table-scale scenes captured using a customized low-cost system with 53 cameras. It contains 21 object-centric sequences categorized by different motion types, 25 intricate hand-object interaction sequences, and 8 long-duration sequences for a total of 17.4 M image frames. In addition, we provide foreground-background segmentation masks, synchronized audio, and text descriptions. We benchmark the state-of-the-art dynamic neural field methods on DiVa-360 and provide insights about existing methods and future challenges on long-duration neural field capture.
• Abstract（参考訳）: ニューラルネットワークの進歩は、ダイナミックな3Dシーンの形状と外観の高忠実なキャプチャを可能にしている。 しかし、アルゴリズム上の問題や大規模なマルチビューの実世界のデータセットの欠如により、2Dビデオのような従来の表現に遅れている。 53台のカメラを搭載したカスタマイズされた低コストシステムを用いて,高解像度かつ長期のテーブルスケールシーンのマルチビュー映像シーケンスを同期させた実世界の360度動的ビジュアルデータセットであるDiVa-360を用いて,データセットの制限に対処する。 オブジェクト中心の21のシーケンスは、異なるモーションタイプ、25の複雑なハンドオブジェクトの相互作用シーケンス、合計17.4Mの画像フレームの8つの長周期シーケンスを含む。 さらに,フォアグラウンド・バックグラウンド・セグメンテーション・マスク,同期音声,テキスト記述を提供する。 我々は、Diva-360上で最先端の動的ニューラルネットワーク手法をベンチマークし、既存の手法と長期的ニューラルネットワークキャプチャにおける今後の課題について考察する。

関連論文リスト

• VideoGLaMM: A Large Multimodal Model for Pixel-Level Visual Grounding in Videos [58.765796160750504]
  VideoGLaMMは、ユーザが提供するテキスト入力に基づいて、ビデオの細かいピクセルレベルのグラウンド化を行うための新しいモデルである。 このアーキテクチャは、ビデオコンテンツの空間的要素と時間的要素の両方をテキスト命令と同期させるよう訓練されている。 実験の結果、我々のモデルは3つのタスクすべてで既存のアプローチより一貫して優れています。
  論文  参考訳（メタデータ） (2024-11-07T17:59:27Z)
• 360VFI: A Dataset and Benchmark for Omnidirectional Video Frame Interpolation [13.122586587748218]
  本稿では,Omnidirectional Video Frame Interpolationのためのベンチマークデータセットである360VFIを紹介する。 本稿では,全方向ビデオの歪みをネットワークに導入し,歪みを変調する実用的な実装を提案する。
  論文  参考訳（メタデータ） (2024-07-19T06:50:24Z)
• ViewFormer: Exploring Spatiotemporal Modeling for Multi-View 3D Occupancy Perception via View-Guided Transformers [9.271932084757646]
  3Dの占有は、前景と背景を物理的空間で区別することなく、全体のシーンをグリッドマップに表現する。 本稿では,効果的な多視点特徴集約のための学習優先視点アテンション機構を提案する。 既存の高品質データセットの上に構築されたベンチマークであるFlowOcc3Dを紹介します。
  論文  参考訳（メタデータ） (2024-05-07T13:15:07Z)
• NVFi: Neural Velocity Fields for 3D Physics Learning from Dynamic Videos [8.559809421797784]
  本稿では,映像フレームからのみ3次元シーンの形状,外観,身体的速度を同時に学習することを提案する。 複数のデータセットに対して広範な実験を行い、全てのベースライン上での手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-11T14:07:31Z)
• Im4D: High-Fidelity and Real-Time Novel View Synthesis for Dynamic Scenes [69.52540205439989]
  グリッドベースの幾何表現と多視点画像に基づく外観表現からなるハイブリッド表現であるIm4Dを紹介する。 画像の特徴から3Dポイントの色を予測することを学習する,オリジナルのマルチビュービデオとネットワークによってシーンの外観を表現する。 我々は,512x512画像に対して,79.8 FPSのリアルタイムレンダリングを実現しつつ,レンダリング品質が向上し,効率よくトレーニングできるIm4Dの最先端性能を示す。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)
• SUDS: Scalable Urban Dynamic Scenes [46.965165390077146]
  我々はニューラルラジアンス場(NeRF)を大規模都市に拡張する。 シーンを3つの別々のハッシュテーブルデータ構造に分解し、静的、動的、遠距離の放射場を効率的に符号化する。 私たちの再建は、数百kmの空間的フットプリントにまたがる1700の動画から、120万フレームにわたる数十万のオブジェクトにスケールすることができる。
  論文  参考訳（メタデータ） (2023-03-25T18:55:09Z)
• NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed Neural Radiance Fields [99.57774680640581]
  本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。 本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
  論文  参考訳（メタデータ） (2022-10-28T07:11:05Z)
• Neural Volumetric Object Selection [126.04480613166194]
  マルチプレーン画像(MPI)やニューラルレイディアンスフィールド(NeRF)のような,神経体積の3次元表現における物体の選択手法を提案する。 提案手法では,前景と背景の2次元ユーザを1つの視点で記述し,対象物の3次元セグメンテーションを自動的に推定する。
  論文  参考訳（メタデータ） (2022-05-30T08:55:20Z)
• Deep 3D Mask Volume for View Synthesis of Dynamic Scenes [49.45028543279115]
  120FPSのカスタム10カメラリグでキャプチャしたマルチビュービデオデータセットを提案する。 データセットには、屋外シーンにおけるさまざまな視覚効果と人間の相互作用を示す96の高品質なシーンが含まれている。 我々は,静的カメラで捉えた動的シーンの双眼映像から時間的に安定な視線外挿を可能にする新しいアルゴリズムであるDeep 3D Mask Volumeを開発した。
  論文  参考訳（メタデータ） (2021-08-30T17:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。