論文の概要: MatryODShka: Real-time 6DoF Video View Synthesis using Multi-Sphere Images

• arxiv url: http://arxiv.org/abs/2008.06534v1
• Date: Fri, 14 Aug 2020 18:33:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-30 17:27:49.988718
• Title: MatryODShka: Real-time 6DoF Video View Synthesis using Multi-Sphere Images
• Title（参考訳）: MatryODShka:マルチ球画像を用いたリアルタイム6DoFビデオビュー合成
• Authors: Benjamin Attal, Selena Ling, Aaron Gokaslan, Christian Richardt, and James Tompkin
• Abstract要約: ステレオ360デグ(全方向ステレオ)画像を6DoFレンダリングのための層状多球面画像表現に変換する手法を提案する。 これにより、ビューアの快適性が大幅に向上し、最新のGPUハードウェア上でリアルタイムで推論およびレンダリングを行うことができる。
• 参考スコア（独自算出の注目度）: 26.899767088485184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a method to convert stereo 360{\deg} (omnidirectional stereo) imagery into a layered, multi-sphere image representation for six degree-of-freedom (6DoF) rendering. Stereo 360{\deg} imagery can be captured from multi-camera systems for virtual reality (VR), but lacks motion parallax and correct-in-all-directions disparity cues. Together, these can quickly lead to VR sickness when viewing content. One solution is to try and generate a format suitable for 6DoF rendering, such as by estimating depth. However, this raises questions as to how to handle disoccluded regions in dynamic scenes. Our approach is to simultaneously learn depth and disocclusions via a multi-sphere image representation, which can be rendered with correct 6DoF disparity and motion parallax in VR. This significantly improves comfort for the viewer, and can be inferred and rendered in real time on modern GPU hardware. Together, these move towards making VR video a more comfortable immersive medium.
• Abstract（参考訳）: ステレオ360{\deg}(全方位ステレオ)画像を6自由度(6DoF)レンダリングのための層状多球面画像表現に変換する手法を提案する。 Stereo 360{\deg}画像はバーチャルリアリティー(VR)用のマルチカメラシステムから撮影できるが、動きパララックスや全方向差の補正がない。 同時に、コンテンツを見るときにVRの病気につながる可能性がある。 1つの解決策は、深さの推定のような6dofレンダリングに適したフォーマットを作成しようとすることである。 しかし、これは動的シーンにおける不明瞭な領域の扱い方に関する疑問を提起する。 本手法は,多次元画像表現による奥行きと分離を同時に学習し,vrで正確な6次元不一致と運動視差でレンダリングする。 これにより、ビューアの快適性が大幅に向上し、最新のGPUハードウェア上でリアルタイムで推論およびレンダリングを行うことができる。 これにより、VRビデオがより快適な没入型メディアになる。

関連論文リスト

• 4K4DGen: Panoramic 4D Generation at 4K Resolution [66.32782301285256]
  本研究では,360度画像に一貫したアニメーション化を実現するために,汎用的な2次元拡散に適応するパノラマデノイザを提案する。 高品質なパノラマから4D生成を(4096$times$2048)初めて達成しました。
  論文  参考訳（メタデータ） (2024-06-19T13:11:02Z)
• 6Img-to-3D: Few-Image Large-Scale Outdoor Driving Scene Reconstruction [44.99833362998488]
  本稿では, 高速でスケーラブルなトランスフォーマーベースエンコーダ・レンダ法である6Img-to-3Dを3次元再構成に導入する。 本手法は,大規模で非有界な屋外運転シナリオに対して,外向きの6つの入力画像から3次元のパラメータ化三面体を出力する。
  論文  参考訳（メタデータ） (2024-04-18T17:58:16Z)
• Dream360: Diverse and Immersive Outdoor Virtual Scene Creation via Transformer-Based 360 Image Outpainting [33.95741744421632]
  本研究では,Dream360と呼ばれる変換器を用いた360度画像出力フレームワークを提案する。 ユーザが選択したビューポートから多種多様で高忠実で高解像度のパノラマを生成することができる。 私たちのDream360は、既存の方法よりもFrechet Inception Distance(FID)スコアが大幅に低く、視覚的忠実度が向上します。
  論文  参考訳（メタデータ） (2024-01-19T09:01:20Z)
• Stereo Matching in Time: 100+ FPS Video Stereo Matching for Extended Reality [65.70936336240554]
  リアルタイムステレオマッチング(Real-time Stereo Matching)は、屋内3D理解、ビデオパススルー、混合現実感ゲームなど、多くの拡張現実感(XR)アプリケーションのための基盤となるアルゴリズムである。 最大の課題の1つは、ヘッドマウントのVR/ARメガネによってキャプチャされた高品質な屋内ビデオステレオトレーニングデータセットの欠如である。 室内シーンのレンダリングと6-DoF移動VR/ARヘッドマウントディスプレイ(HMD)によるリアルなカメラモーションを含む,新しいステレオ合成データセットを提案する。 これにより既存のアプローチの評価が促進され、屋内拡張現実シナリオのさらなる研究が促進される。
  論文  参考訳（メタデータ） (2023-09-08T07:53:58Z)
• Make-It-4D: Synthesizing a Consistent Long-Term Dynamic Scene Video from a Single Image [59.18564636990079]
  本研究では,1枚の画像のみから長期ダイナミック映像を合成する問題について検討する。 既存の方法は、一貫性のない永遠の視点を幻覚させるか、長いカメラの軌跡に苦しむかのいずれかである。 一つの画像から一貫した長期動画像を生成する新しい方法であるMake-It-4Dを提案する。
  論文  参考訳（メタデータ） (2023-08-20T12:53:50Z)
• Immersive Neural Graphics Primitives [13.48024951446282]
  我々は没入型VRのシーンをレンダリングできるNeRFベースのフレームワークを提示し、評価する。 我々のアプローチでは、毎秒30フレームのフレームレートで、1眼あたり1280×720ピクセルの解像度が得られる。
  論文  参考訳（メタデータ） (2022-11-24T09:33:38Z)
• 3D Moments from Near-Duplicate Photos [67.15199743223332]
  3D Momentsは、新しい計算写真効果だ。 1枚目から2枚目までのシーンの動きを円滑に補間するビデオを作成する。 本システムは,モーションパララックスとシーンダイナミックスを併用したフォトリアリスティックな時空ビデオを生成する。
  論文  参考訳（メタデータ） (2022-05-12T17:56:18Z)
• Deep 3D Mask Volume for View Synthesis of Dynamic Scenes [49.45028543279115]
  120FPSのカスタム10カメラリグでキャプチャしたマルチビュービデオデータセットを提案する。 データセットには、屋外シーンにおけるさまざまな視覚効果と人間の相互作用を示す96の高品質なシーンが含まれている。 我々は,静的カメラで捉えた動的シーンの双眼映像から時間的に安定な視線外挿を可能にする新しいアルゴリズムであるDeep 3D Mask Volumeを開発した。
  論文  参考訳（メタデータ） (2021-08-30T17:55:28Z)
• Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality [68.18446501943585]
  ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える 最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。 本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
  論文  参考訳（メタデータ） (2021-04-10T15:48:53Z)
• Learning to compose 6-DoF omnidirectional videos using multi-sphere images [16.423725132964776]
  本研究では,3D ConvNet を用いて,6-DoF VR で体験可能な多球面画像表現を生成するシステムを提案する。 このシステムは、深度マップやセグメンテーションマスクを必要とせずに、従来の全方向VRカメラの映像を直接利用します。 高品質なアーティファクトフリー6-DoFコンテンツに対する基礎的真理生成手法を提案し,研究・開発コミュニティで利用することができる。
  論文  参考訳（メタデータ） (2021-03-10T03:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。