論文の概要: DynamicStereo: Consistent Dynamic Depth from Stereo Videos
- arxiv url: http://arxiv.org/abs/2305.02296v1
- Date: Wed, 3 May 2023 17:40:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-04 13:48:23.941133
- Title: DynamicStereo: Consistent Dynamic Depth from Stereo Videos
- Title(参考訳): dynamicstereo:ステレオビデオからの一貫した動的深さ
- Authors: Nikita Karaev, Ignacio Rocco, Benjamin Graham, Natalia Neverova,
Andrea Vedaldi, Christian Rupprecht
- Abstract要約: ステレオビデオの相違を推定するためにDynamicStereoを提案する。
ネットワークは、その予測の時間的一貫性を改善するために、隣接するフレームからの情報をプールすることを学ぶ。
スキャンされた環境における人や動物の合成ビデオを含む新しいベンチマークデータセットであるDynamic Replicaも導入した。
- 参考スコア(独自算出の注目度): 91.1804971397608
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of reconstructing a dynamic scene observed from a
stereo camera. Most existing methods for depth from stereo treat different
stereo frames independently, leading to temporally inconsistent depth
predictions. Temporal consistency is especially important for immersive AR or
VR scenarios, where flickering greatly diminishes the user experience. We
propose DynamicStereo, a novel transformer-based architecture to estimate
disparity for stereo videos. The network learns to pool information from
neighboring frames to improve the temporal consistency of its predictions. Our
architecture is designed to process stereo videos efficiently through divided
attention layers. We also introduce Dynamic Replica, a new benchmark dataset
containing synthetic videos of people and animals in scanned environments,
which provides complementary training and evaluation data for dynamic stereo
closer to real applications than existing datasets. Training with this dataset
further improves the quality of predictions of our proposed DynamicStereo as
well as prior methods. Finally, it acts as a benchmark for consistent stereo
methods.
- Abstract(参考訳): ステレオカメラから観察された動的シーンを再構成する問題を考える。
ステレオからの深度の既存の方法のほとんどは、異なるステレオフレームを独立に扱うため、時間的に一貫性のない深さ予測に繋がる。
時間の一貫性は、没入型ARやVRのシナリオにおいて特に重要である。
ステレオビデオの相違を推定する新しいトランスフォーマーベースのアーキテクチャであるDynamicStereoを提案する。
ネットワークは隣接するフレームから情報をプールし、予測の時間的一貫性を改善する。
我々のアーキテクチャは、分割された注意層を通してステレオビデオを効率的に処理するように設計されている。
スキャンされた環境における人と動物の合成ビデオを含む新しいベンチマークデータセットであるdynamic replicaも紹介する。既存のデータセットよりも実際のアプリケーションに近いダイナミックステレオのための補完的なトレーニングと評価データを提供する。
このデータセットを使用したトレーニングは、提案したDynamicStereoの予測品質と、それ以前のメソッドをさらに改善します。
最後に、一貫性のあるステレオメソッドのベンチマークとして機能する。
関連論文リスト
- 3D Human Pose Perception from Egocentric Stereo Videos [74.23741075104166]
我々は,エゴセントリックな立体3次元ポーズ推定を改善するためのトランスフォーマーベースの新しいフレームワークを提案する。
本手法は, しゃがんだり座ったりといった困難なシナリオにおいても, 人間のポーズを正確に推定することができる。
私たちはUnrealEgo2、UnrealEgo-RW、およびトレーニングされたモデルをプロジェクトページでリリースします。
論文 参考訳(メタデータ) (2023-12-30T21:21:54Z) - Stereo Matching in Time: 100+ FPS Video Stereo Matching for Extended
Reality [65.70936336240554]
リアルタイムステレオマッチング(Real-time Stereo Matching)は、屋内3D理解、ビデオパススルー、混合現実感ゲームなど、多くの拡張現実感(XR)アプリケーションのための基盤となるアルゴリズムである。
最大の課題の1つは、ヘッドマウントのVR/ARメガネによってキャプチャされた高品質な屋内ビデオステレオトレーニングデータセットの欠如である。
室内シーンのレンダリングと6-DoF移動VR/ARヘッドマウントディスプレイ(HMD)によるリアルなカメラモーションを含む,新しいステレオ合成データセットを提案する。
これにより既存のアプローチの評価が促進され、屋内拡張現実シナリオのさらなる研究が促進される。
論文 参考訳(メタデータ) (2023-09-08T07:53:58Z) - Dyna-DepthFormer: Multi-frame Transformer for Self-Supervised Depth
Estimation in Dynamic Scenes [19.810725397641406]
シーン深度と3次元運動場を協調的に予測する新しいDyna-Depthformerフレームワークを提案する。
まず,多視点の相関を一連の自己・横断的層を通じて活用し,深度特徴表現の強化を図る。
第2に,動的物体の運動場をセマンティック・プレセプションを使わずに推定するワーピングに基づく運動ネットワークを提案する。
論文 参考訳(メタデータ) (2023-01-14T09:43:23Z) - Mixed Neural Voxels for Fast Multi-view Video Synthesis [16.25013978657888]
高速なトレーニング速度と競争性のあるレンダリング特性を持つ動的シーンをよりよく表現するための,MixVoxels という新しい手法を提案する。
提案したMixVoxelsは、4D動的シーンを静的および動的ボクセルの混合として表現し、異なるネットワークで処理する。
300コマビデオの入力によるダイナミックシーンの15分間のトレーニングにより、MixVoxelsは従来の方法よりも優れたPSNRを実現している。
論文 参考訳(メタデータ) (2022-12-01T00:26:45Z) - MEStereo-Du2CNN: A Novel Dual Channel CNN for Learning Robust Depth
Estimates from Multi-exposure Stereo Images for HDR 3D Applications [0.22940141855172028]
マルチ露光ステレオ深度推定のための新しいディープアーキテクチャを開発した。
アーキテクチャの立体深度推定コンポーネントとして,モノ・ステレオ・トランスファー学習アプローチをデプロイする。
性能の面では、提案モデルは最先端のモノクラーおよびステレオ深度推定法を超越している。
論文 参考訳(メタデータ) (2022-06-21T13:23:22Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳(メタデータ) (2022-04-22T03:17:35Z) - Temporally Consistent Online Depth Estimation in Dynamic Scenes [17.186528244457055]
拡張現実のようなリアルタイムアプリケーションには、時間的に一貫した深さ推定が不可欠である。
オンライン環境における動的シーンにおける時間的一貫した深度推定を行う手法を提案する。
我々のネットワークは、フレームごとの現在のステレオネットワークを新しい動きと融合ネットワークで拡張する。
論文 参考訳(メタデータ) (2021-11-17T19:00:51Z) - Self-Supervised Depth Completion for Active Stereo [55.79929735390945]
アクティブステレオシステムは、低コストで高品質な深度マップのため、ロボット産業で広く利用されている。
これらの深度センサーはステレオアーチファクトに悩まされており、密度の深い深度推定を提供していない。
本稿では, 高精度な深度マップを推定するアクティブステレオシステムのための, 自己監督型深度補完法を提案する。
論文 参考訳(メタデータ) (2021-10-07T07:33:52Z) - SMD-Nets: Stereo Mixture Density Networks [68.56947049719936]
SMD-Nets(Stereo Mixture Density Networks)は、幅広い2Dおよび3Dアーキテクチャに対応したシンプルで効果的な学習フレームワークです。
具体的には,バイモーダル混合密度を出力表現として活用し,不連続近傍の鋭く正確な不一致推定を可能にすることを示す。
我々は8Mpx解像度のステレオペアと現実世界のステレオデータセットからなる、新しい高解像度でリアルな合成ステレオデータセットに関する包括的な実験を行う。
論文 参考訳(メタデータ) (2021-04-08T16:15:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。