論文の概要: Virtual Occlusions Through Implicit Depth

• arxiv url: http://arxiv.org/abs/2305.07014v1
• Date: Thu, 11 May 2023 17:55:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-12 13:47:36.991044
• Title: Virtual Occlusions Through Implicit Depth
• Title（参考訳）: 暗黙の深さによる仮想オクルージョン
• Authors: Jamie Watson and Mohamed Sayed and Zawar Qureshi and Gabriel J. Brostow and Sara Vicente and Oisin Mac Aodha and Michael Firman
• Abstract要約: 拡張現実(AR)においては、仮想資産が現実世界のオブジェクトの中に置かれているように見えることが重要である。 本稿では,奥行きを暗黙的に予測するモデルを提案し,それを用いて隠蔽マスクを直接予測する。 私たちのネットワークへの入力は、1つ以上のカラー画像に加えて、仮想幾何学の既知の深さである。
• 参考スコア（独自算出の注目度）: 34.9539229264875
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: For augmented reality (AR), it is important that virtual assets appear to `sit among' real world objects. The virtual element should variously occlude and be occluded by real matter, based on a plausible depth ordering. This occlusion should be consistent over time as the viewer's camera moves. Unfortunately, small mistakes in the estimated scene depth can ruin the downstream occlusion mask, and thereby the AR illusion. Especially in real-time settings, depths inferred near boundaries or across time can be inconsistent. In this paper, we challenge the need for depth-regression as an intermediate step. We instead propose an implicit model for depth and use that to predict the occlusion mask directly. The inputs to our network are one or more color images, plus the known depths of any virtual geometry. We show how our occlusion predictions are more accurate and more temporally stable than predictions derived from traditional depth-estimation models. We obtain state-of-the-art occlusion results on the challenging ScanNetv2 dataset and superior qualitative results on real scenes.
• Abstract（参考訳）: 拡張現実(AR)にとって、仮想資産は「現実世界の物体の間にいる」ように見えることが重要である。 仮想要素は、プラウシブルな深度順序に基づいて、様々な遮蔽と実物による遮蔽をすべきである。 この閉塞は、視聴者のカメラの動きと時間とともに一貫性を持つべきである。 残念なことに、推定されたシーン深度の小さなミスは、下流のオクルージョンマスクを台無しにし、ar錯覚を引き起こす可能性がある。 特にリアルタイム設定では、境界付近や時間を越えた深さが矛盾する可能性がある。 本稿では,中間段階として深度回帰の必要性に挑戦する。 そこで我々は奥行きの暗黙のモデルを提案し,それを用いて咬合マスクを直接予測する。 ネットワークへの入力は1つ以上のカラーイメージと、任意の仮想幾何学の既知の深さです。 従来の深さ推定モデルによる予測よりも咬合予測が正確で時間的に安定であることを示す。 難解なscannetv2データセットにおける最先端のオクルージョン結果と実場面の質的評価結果を得た。

関連論文リスト

• SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes [58.89295356901823]
  自己監督型単眼深度推定は静的な場面で顕著な結果を示した。 トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。 単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。 我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
  論文  参考訳（メタデータ） (2022-11-07T16:17:47Z)
• Towards Accurate Reconstruction of 3D Scene Shape from A Single Monocular Image [91.71077190961688]
  まず、未知のスケールまで深さを予測し、単一の単眼画像からシフトする2段階のフレームワークを提案する。 次に、3Dポイントの雲のデータを利用して、奥行きの変化とカメラの焦点距離を予測し、3Dシーンの形状を復元します。 我々は9つの未知のデータセットで深度モデルを検証し、ゼロショット評価で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-28T16:20:14Z)
• Virtual Normal: Enforcing Geometric Constraints for Accurate and Robust Depth Prediction [87.08227378010874]
  深度予測における高次3次元幾何学的制約の重要性を示す。 単純な幾何学的制約を強制する損失項を設計することにより、単眼深度推定の精度とロバスト性を大幅に改善する。 The-of-the-art results of learning metric depth on NYU Depth-V2 and KITTI。
  論文  参考訳（メタデータ） (2021-03-07T00:08:21Z)
• Learning to Recover 3D Scene Shape from a Single Image [98.20106822614392]
  まず,未知のスケールまで深さを予測し,単一の単眼画像からシフトする2段階フレームワークを提案する。 そして、3dポイントクラウドエンコーダを使って深度シフトと焦点距離を予測し、リアルな3dシーンの形状を復元します。
  論文  参考訳（メタデータ） (2020-12-17T02:35:13Z)
• Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
  カラービデオから多フレーム深度を推定する新しい学習手法を提案する。 本手法は深度推定精度において最先端の手法より優れる。
  論文  参考訳（メタデータ） (2020-04-02T07:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。