論文の概要: Replay: Multi-modal Multi-view Acted Videos for Casual Holography

• arxiv url: http://arxiv.org/abs/2307.12067v1
• Date: Sat, 22 Jul 2023 12:24:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 18:08:31.450711
• Title: Replay: Multi-modal Multi-view Acted Videos for Casual Holography
• Title（参考訳）: リプレイ:カジュアルホログラフィーのためのマルチモーダル・マルチビュー動画
• Authors: Roman Shapovalov, Yanir Kleiman, Ignacio Rocco, David Novotny, Andrea Vedaldi, Changan Chen, Filippos Kokkinos, Ben Graham, Natalia Neverova
• Abstract要約: Replayは、社会的に対話する人間のマルチビュー、マルチモーダルビデオのコレクションである。 全体として、データセットには4000分以上の映像と700万のタイムスタンプ付き高解像度フレームが含まれている。 Replayデータセットには、新規ビュー合成、3D再構成、新規ビュー音響合成、人体と顔の分析、生成モデルの訓練など、多くの潜在的な応用がある。
• 参考スコア（独自算出の注目度）: 76.49914880351167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Replay, a collection of multi-view, multi-modal videos of humans interacting socially. Each scene is filmed in high production quality, from different viewpoints with several static cameras, as well as wearable action cameras, and recorded with a large array of microphones at different positions in the room. Overall, the dataset contains over 4000 minutes of footage and over 7 million timestamped high-resolution frames annotated with camera poses and partially with foreground masks. The Replay dataset has many potential applications, such as novel-view synthesis, 3D reconstruction, novel-view acoustic synthesis, human body and face analysis, and training generative models. We provide a benchmark for training and evaluating novel-view synthesis, with two scenarios of different difficulty. Finally, we evaluate several baseline state-of-the-art methods on the new benchmark.
• Abstract（参考訳）: Replayは、社会的に対話する人間のマルチビュー、マルチモーダルビデオのコレクションである。 それぞれのシーンは、いくつかの静的カメラとウェアラブルアクションカメラで異なる視点から高画質で撮影され、部屋のさまざまな位置にある多数のマイクで録画される。 全体として、データセットには4000分以上の映像と、700万以上のタイムスタンプ付き高解像度フレームにカメラのポーズと部分的に前景マスクが付加されている。 Replayデータセットには、新規ビュー合成、3D再構成、新規ビュー音響合成、人体と顔の分析、生成モデルの訓練など、多くの潜在的な応用がある。 異なる難易度の2つのシナリオを用いて,新規視点合成の訓練と評価のためのベンチマークを提供する。 最後に、新しいベンチマークに基づいて、いくつかのベースライン・オブ・ザ・アーティカルな手法を評価する。

関連論文リスト

• PIV3CAMS: a multi-camera dataset for multiple computer vision problems and its application to novel view-point synthesis [120.4361056355332]
  この論文では、3つのCAMeraS、すなわちPIV3CAMSからPaired Image and Videoのデータを紹介している。 PIV3CAMSデータセットは8385対の画像と82対のビデオで構成されている。 本稿では,現在最先端のアルゴリズムの再構築に加えて,深度情報を幾何的に統合する代替モデルについても検討する。
  論文  参考訳（メタデータ） (2024-07-26T12:18:29Z)
• Generative Camera Dolly: Extreme Monocular Dynamic Novel View Synthesis [43.02778060969546]
  制御可能な単分子動的ビュー合成パイプラインを提案する。 我々のモデルは入力として深度を必要としないし、明示的に3次元シーン形状をモデル化しない。 私たちのフレームワークは、リッチな動的シーン理解、ロボット工学の知覚、バーチャルリアリティのためのインタラクティブな3Dビデオ視聴体験において、強力なアプリケーションをアンロックできる可能性があると考えています。
  論文  参考訳（メタデータ） (2024-05-23T17:59:52Z)
• Holoported Characters: Real-time Free-viewpoint Rendering of Humans from Sparse RGB Cameras [65.54875149514274]
  一般のアパレルにおいて,人間俳優の高度にリアルなフリー視点映像をレンダリングするための最初のアプローチを提案する。 提案手法は,動作中のアクターの4つのカメラビューと,各3次元骨格ポーズのみを必要とする。 広い服装の俳優を扱い、さらに細かなダイナミックディテールを再現する。
  論文  参考訳（メタデータ） (2023-12-12T16:45:52Z)
• Total-Recon: Deformable Scene Reconstruction for Embodied View Synthesis [76.72505510632904]
  長い単眼のRGBDビデオから変形可能なシーンを再構成する最初の方法であるTotal-Reconを提案する。 本手法は背景と物体にシーンを階層的に分解し,動作を根体運動と局所的調音に分解する。
  論文  参考訳（メタデータ） (2023-04-24T17:59:52Z)
• Deep 3D Mask Volume for View Synthesis of Dynamic Scenes [49.45028543279115]
  120FPSのカスタム10カメラリグでキャプチャしたマルチビュービデオデータセットを提案する。 データセットには、屋外シーンにおけるさまざまな視覚効果と人間の相互作用を示す96の高品質なシーンが含まれている。 我々は,静的カメラで捉えた動的シーンの双眼映像から時間的に安定な視線外挿を可能にする新しいアルゴリズムであるDeep 3D Mask Volumeを開発した。
  論文  参考訳（メタデータ） (2021-08-30T17:55:28Z)
• DeepMultiCap: Performance Capture of Multiple Characters Using Sparse Multiview Cameras [63.186486240525554]
  deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。 本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
  論文  参考訳（メタデータ） (2021-05-01T14:32:13Z)
• Deep Multimodal Feature Encoding for Video Ordering [34.27175264084648]
  これらすべてのモダリティを符号化するコンパクトなマルチモーダル特徴表現を学習する方法を提案する。 我々のモデルパラメータは、時系列内の順序のない一連のビデオの時間的順序を推測するプロキシタスクによって学習される。 課題3つの課題,すなわち,ビデオの時間的順序を推定すること,および(ii)行動認識について,個人と共同のモダリティを分析し,評価する。
  論文  参考訳（メタデータ） (2020-04-05T14:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。