論文の概要: DynamicStereo: Consistent Dynamic Depth from Stereo Videos

• arxiv url: http://arxiv.org/abs/2305.02296v1
• Date: Wed, 3 May 2023 17:40:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-04 13:48:23.941133
• Title: DynamicStereo: Consistent Dynamic Depth from Stereo Videos
• Title（参考訳）: dynamicstereo:ステレオビデオからの一貫した動的深さ
• Authors: Nikita Karaev, Ignacio Rocco, Benjamin Graham, Natalia Neverova, Andrea Vedaldi, Christian Rupprecht
• Abstract要約: ステレオビデオの相違を推定するためにDynamicStereoを提案する。 ネットワークは、その予測の時間的一貫性を改善するために、隣接するフレームからの情報をプールすることを学ぶ。 スキャンされた環境における人や動物の合成ビデオを含む新しいベンチマークデータセットであるDynamic Replicaも導入した。
• 参考スコア（独自算出の注目度）: 91.1804971397608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of reconstructing a dynamic scene observed from a stereo camera. Most existing methods for depth from stereo treat different stereo frames independently, leading to temporally inconsistent depth predictions. Temporal consistency is especially important for immersive AR or VR scenarios, where flickering greatly diminishes the user experience. We propose DynamicStereo, a novel transformer-based architecture to estimate disparity for stereo videos. The network learns to pool information from neighboring frames to improve the temporal consistency of its predictions. Our architecture is designed to process stereo videos efficiently through divided attention layers. We also introduce Dynamic Replica, a new benchmark dataset containing synthetic videos of people and animals in scanned environments, which provides complementary training and evaluation data for dynamic stereo closer to real applications than existing datasets. Training with this dataset further improves the quality of predictions of our proposed DynamicStereo as well as prior methods. Finally, it acts as a benchmark for consistent stereo methods.
• Abstract（参考訳）: ステレオカメラから観察された動的シーンを再構成する問題を考える。 ステレオからの深度の既存の方法のほとんどは、異なるステレオフレームを独立に扱うため、時間的に一貫性のない深さ予測に繋がる。 時間の一貫性は、没入型ARやVRのシナリオにおいて特に重要である。 ステレオビデオの相違を推定する新しいトランスフォーマーベースのアーキテクチャであるDynamicStereoを提案する。 ネットワークは隣接するフレームから情報をプールし、予測の時間的一貫性を改善する。 我々のアーキテクチャは、分割された注意層を通してステレオビデオを効率的に処理するように設計されている。 スキャンされた環境における人と動物の合成ビデオを含む新しいベンチマークデータセットであるdynamic replicaも紹介する。既存のデータセットよりも実際のアプリケーションに近いダイナミックステレオのための補完的なトレーニングと評価データを提供する。 このデータセットを使用したトレーニングは、提案したDynamicStereoの予測品質と、それ以前のメソッドをさらに改善します。 最後に、一貫性のあるステレオメソッドのベンチマークとして機能する。

関連論文リスト

• Feed-Forward Bullet-Time Reconstruction of Dynamic Scenes from Monocular Videos [101.48581851337703]
  動的シーンのリアルタイム再構成と新しいビュー合成のための,モーション対応フィードフォワードモデルであるBTimerを提案する。 提案手法は,すべてのコンテキストフレームから情報を集約することにより,所定の目標("bullet')タイムスタンプにおける3次元ガウススティング表現の全体像を再構成する。 カジュアルなモノクロのダイナミックビデオが与えられた後、BTimerは150ms以内の弾道時間シーンを再構築し、静的および動的両方のシーンデータセットで最先端のパフォーマンスに到達した。
  論文  参考訳（メタデータ） (2024-12-04T18:15:06Z)
• Helvipad: A Real-World Dataset for Omnidirectional Stereo Depth Estimation [83.841877607646]
  全方位ステレオ深度推定のための実世界のデータセットであるHelvipadを紹介する。 このデータセットは、3Dポイント雲を等方形画像に投影することで、正確な深度と不均質のラベルを含む。 標準画像と全方位画像のステレオ深度推定モデルをベンチマークする。
  論文  参考訳（メタデータ） (2024-11-27T13:34:41Z)
• Match Stereo Videos via Bidirectional Alignment [15.876953256378224]
  最近の学習に基づく手法は、独立ステレオペアのパフォーマンスの最適化に重点を置いており、ビデオの時間的矛盾につながる。 本稿では,新しいビデオ処理フレームワークBiDAStereoとプラグイン安定化ネットワークBiDAStabilizerを紹介する。 本稿では,自然景観に着目したリアルな合成データセットとベンチマークと,様々な都市景観のステレオカメラが捉えた実世界のデータセットを定性評価として提示する。
  論文  参考訳（メタデータ） (2024-09-30T13:37:29Z)
• Match-Stereo-Videos: Bidirectional Alignment for Consistent Dynamic Stereo Matching [17.344430840048094]
  最近の学習に基づく手法では, 一つのステレオペア上での最適性能が優先され, 時間的矛盾が生じている。 本研究では,隣接フレームの双方向アライメント機構を基本動作として開発する。 既存の手法とは異なり、我々はこのタスクを局所的なマッチングとグローバルアグリゲーションとしてモデル化する。
  論文  参考訳（メタデータ） (2024-03-16T01:38:28Z)
• Stereo Matching in Time: 100+ FPS Video Stereo Matching for Extended Reality [65.70936336240554]
  リアルタイムステレオマッチング(Real-time Stereo Matching)は、屋内3D理解、ビデオパススルー、混合現実感ゲームなど、多くの拡張現実感(XR)アプリケーションのための基盤となるアルゴリズムである。 最大の課題の1つは、ヘッドマウントのVR/ARメガネによってキャプチャされた高品質な屋内ビデオステレオトレーニングデータセットの欠如である。 室内シーンのレンダリングと6-DoF移動VR/ARヘッドマウントディスプレイ(HMD)によるリアルなカメラモーションを含む,新しいステレオ合成データセットを提案する。 これにより既存のアプローチの評価が促進され、屋内拡張現実シナリオのさらなる研究が促進される。
  論文  参考訳（メタデータ） (2023-09-08T07:53:58Z)
• MEStereo-Du2CNN: A Novel Dual Channel CNN for Learning Robust Depth Estimates from Multi-exposure Stereo Images for HDR 3D Applications [0.22940141855172028]
  マルチ露光ステレオ深度推定のための新しいディープアーキテクチャを開発した。 アーキテクチャの立体深度推定コンポーネントとして,モノ・ステレオ・トランスファー学習アプローチをデプロイする。 性能の面では、提案モデルは最先端のモノクラーおよびステレオ深度推定法を超越している。
  論文  参考訳（メタデータ） (2022-06-21T13:23:22Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• Temporally Consistent Online Depth Estimation in Dynamic Scenes [17.186528244457055]
  拡張現実のようなリアルタイムアプリケーションには、時間的に一貫した深さ推定が不可欠である。 オンライン環境における動的シーンにおける時間的一貫した深度推定を行う手法を提案する。 我々のネットワークは、フレームごとの現在のステレオネットワークを新しい動きと融合ネットワークで拡張する。
  論文  参考訳（メタデータ） (2021-11-17T19:00:51Z)
• Self-Supervised Depth Completion for Active Stereo [55.79929735390945]
  アクティブステレオシステムは、低コストで高品質な深度マップのため、ロボット産業で広く利用されている。 これらの深度センサーはステレオアーチファクトに悩まされており、密度の深い深度推定を提供していない。 本稿では, 高精度な深度マップを推定するアクティブステレオシステムのための, 自己監督型深度補完法を提案する。
  論文  参考訳（メタデータ） (2021-10-07T07:33:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。