論文の概要: Temporally Consistent Online Depth Estimation Using Point-Based Fusion

• arxiv url: http://arxiv.org/abs/2304.07435v3
• Date: Sat, 5 Aug 2023 00:01:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 23:08:59.397507
• Title: Temporally Consistent Online Depth Estimation Using Point-Based Fusion
• Title（参考訳）: point-based fusion を用いた時間整合オンライン奥行き推定
• Authors: Numair Khan, Eric Penner, Douglas Lanman, and Lei Xiao
• Abstract要約: ビデオストリームの時間的一貫した深度マップをオンライン環境で推定することを目的としている。 これは、将来のフレームが利用できないため難しい問題であり、メソッドは、一貫性を強制するか、以前の推定からエラーを修正するかを選択する必要がある。 本稿では、各フレームを動的に更新するグローバルポイントクラウドと、画像空間における学習的融合アプローチを用いて、これらの課題に対処することを提案する。
• 参考スコア（独自算出の注目度）: 6.5514240555359455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth estimation is an important step in many computer vision problems such as 3D reconstruction, novel view synthesis, and computational photography. Most existing work focuses on depth estimation from single frames. When applied to videos, the result lacks temporal consistency, showing flickering and swimming artifacts. In this paper we aim to estimate temporally consistent depth maps of video streams in an online setting. This is a difficult problem as future frames are not available and the method must choose between enforcing consistency and correcting errors from previous estimations. The presence of dynamic objects further complicates the problem. We propose to address these challenges by using a global point cloud that is dynamically updated each frame, along with a learned fusion approach in image space. Our approach encourages consistency while simultaneously allowing updates to handle errors and dynamic objects. Qualitative and quantitative results show that our method achieves state-of-the-art quality for consistent video depth estimation.
• Abstract（参考訳）: 深度推定は、3次元再構成、新しい視点合成、計算写真などの多くのコンピュータビジョン問題において重要なステップである。 既存の作業のほとんどは、シングルフレームからの深さ推定に重点を置いている。 ビデオに適用すると、その結果は時間的一貫性が欠如し、フリックや水泳のアーティファクトが表示される。 本稿では,オンライン環境での映像ストリームの時間的一貫した深度マップを推定することを目的とする。 これは、将来のフレームが利用できないため難しい問題であり、メソッドは一貫性を強制するか、以前の推定からエラーを修正するかを選択する必要がある。 動的オブジェクトの存在はさらに問題を複雑にする。 本稿では、各フレームを動的に更新するグローバルポイントクラウドと、画像空間における学習融合アプローチを用いて、これらの課題に対処することを提案する。 当社のアプローチは一貫性を促進し、同時にエラーや動的オブジェクトの処理も可能にします。 定性的,定量的な結果から,一貫した映像深度推定のための最先端の精度が得られた。

関連論文リスト

• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• Edge-aware Consistent Stereo Video Depth Estimation [3.611754783778107]
  本稿では,高密度映像深度推定のための一貫した手法を提案する。 既存のモノラルな方法とは異なり、ステレオビデオに関係しています。 エッジ対応ステレオビデオモデルにより,深度マップを精度良く推定できることを示す。
  論文  参考訳（メタデータ） (2023-05-04T08:30:04Z)
• IDEA-Net: Dynamic 3D Point Cloud Interpolation via Deep Embedding Alignment [58.8330387551499]
  我々は、点方向軌跡(すなわち滑らかな曲線)の推定として問題を定式化する。 本稿では,学習した時間的一貫性の助けを借りて問題を解消する,エンドツーエンドのディープラーニングフレームワークであるIDEA-Netを提案する。 各種点群における本手法の有効性を実証し, 定量的かつ視覚的に, 最先端の手法に対する大幅な改善を観察する。
  論文  参考訳（メタデータ） (2022-03-22T10:14:08Z)
• Temporally Consistent Online Depth Estimation in Dynamic Scenes [17.186528244457055]
  拡張現実のようなリアルタイムアプリケーションには、時間的に一貫した深さ推定が不可欠である。 オンライン環境における動的シーンにおける時間的一貫した深度推定を行う手法を提案する。 我々のネットワークは、フレームごとの現在のステレオネットワークを新しい動きと融合ネットワークで拡張する。
  論文  参考訳（メタデータ） (2021-11-17T19:00:51Z)
• Consistent Depth of Moving Objects in Video [52.72092264848864]
  移動カメラで撮影した通常の映像から任意の移動物体を含む動的シーンの深さを推定する手法を提案する。 我々は、この目的を、深度予測CNNを入力ビデオ全体にわたって補助的なシーンフロー予測でタンデムで訓練する新しいテストタイムトレーニングフレームワークで定式化する。 我々は、さまざまな移動物体(ペット、人、車)とカメラの動きを含む様々な挑戦的なビデオに対して、正確かつ時間的に一貫性のある結果を示す。
  論文  参考訳（メタデータ） (2021-08-02T20:53:18Z)
• Depth-Aware Multi-Grid Deep Homography Estimation with Contextual Correlation [38.95610086309832]
  ホログラフィー推定は、画像ステッチ、ビデオ安定化、カメラキャリブレーションなどのコンピュータビジョンにおいて重要なタスクである。 従来のホモグラフィー推定法は特徴点の量と分布に依存するため、テクスチャレスシーンではロバスト性が低い。 特徴写像上の長距離相関を捉えることができ、学習フレームワークに柔軟にブリッジできるコンテキスト相関層を提案する。 我々は,新しい深度認識型形状保存損失を導入することで,ネットワークに深度知覚能力を持たせる。
  論文  参考訳（メタデータ） (2021-07-06T10:33:12Z)
• Deep Dual Consecutive Network for Human Pose Estimation [44.41818683253614]
  キーポイント検出を容易にするために,ビデオフレーム間の時間的キューを豊富に活用した,新しいマルチフレーム人間ポーズ推定フレームワークを提案する。 本手法は、PoseTrack 2017およびPoseTrack 2018の大規模ベンチマークデータセットにおけるマルチフレームパーソンポースチャレンジチャレンジで1位にランクインします。
  論文  参考訳（メタデータ） (2021-03-12T13:11:27Z)
• Consistent Video Depth Estimation [57.712779457632024]
  モノクロ映像中の全画素に対して, 密度, 幾何的に整合した深度を再構成するアルゴリズムを提案する。 動画中の画素の幾何的制約を確立するために、従来の動きから再構成した構造を利用する。 我々のアルゴリズムは、手持ちの映像をある程度のダイナミックな動きで処理することができる。
  論文  参考訳（メタデータ） (2020-04-30T17:59:26Z)
• Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction [118.21363599332493]
  本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。 本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。 提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-04-28T12:03:14Z)
• Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
  カラービデオから多フレーム深度を推定する新しい学習手法を提案する。 本手法は深度推定精度において最先端の手法より優れる。
  論文  参考訳（メタデータ） (2020-04-02T07:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。