論文の概要: Mixed Reality Depth Contour Occlusion Using Binocular Similarity
Matching and Three-dimensional Contour Optimisation
- arxiv url: http://arxiv.org/abs/2203.02300v1
- Date: Fri, 4 Mar 2022 13:16:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-07 14:36:56.162771
- Title: Mixed Reality Depth Contour Occlusion Using Binocular Similarity
Matching and Three-dimensional Contour Optimisation
- Title（参考訳）: 両眼類似性マッチングと3次元輪郭最適化を用いた混合現実深度輪郭閉塞
- Authors: Naye Ji, Fan Zhang, Haoxiang Zhang, Youbing Zhao, Dingguo Yu
- Abstract要約: 混合現実のアプリケーションは、現実のオブジェクトによって部分的に隠された仮想オブジェクトを必要とすることが多い。
従来の研究や商業製品は、性能と効率の面で制限があった。
- 参考スコア（独自算出の注目度）: 3.9692358105634384
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixed reality applications often require virtual objects that are partly
occluded by real objects. However, previous research and commercial products
have limitations in terms of performance and efficiency. To address these
challenges, we propose a novel depth contour occlusion (DCO) algorithm. The
proposed method is based on the sensitivity of contour occlusion and a
binocular stereoscopic vision device. In this method, a depth contour map is
combined with a sparse depth map obtained from a two-stage adaptive filter area
stereo matching algorithm and the depth contour information of the objects
extracted by a digital image stabilisation optical flow method. We also propose
a quadratic optimisation model with three constraints to generate an accurate
dense map of the depth contour for high-quality real-virtual occlusion. The
whole process is accelerated by GPU. To evaluate the effectiveness of the
algorithm, we demonstrate a time con-sumption statistical analysis for each
stage of the DCO algorithm execution. To verify the relia-bility of the
real-virtual occlusion effect, we conduct an experimental analysis on
single-sided, enclosed, and complex occlusions; subsequently, we compare it
with the occlusion method without quadratic optimisation. With our GPU
implementation for real-time DCO, the evaluation indicates that applying the
presented DCO algorithm can enhance the real-time performance and the visual
quality of real-virtual occlusion.
- Abstract（参考訳）: 複合現実アプリケーションは、現実のオブジェクトによって部分的に隠された仮想オブジェクトを必要とすることが多い。
しかし、以前の研究や商業製品は性能と効率の面で制限があった。
これらの課題に対処するため、我々は新しい深度輪郭閉塞アルゴリズム(DCO)を提案する。
提案手法は、輪郭閉塞の感度と両眼立体視装置に基づく。
本発明は、深度輪郭マップと、2段階適応フィルタ領域ステレオマッチングアルゴリズムから得られたスパース深度マップと、デジタル画像安定化光学フロー法により抽出された物体の深さ輪郭情報とを組み合わせる。
また、3つの制約を持つ2次最適化モデルを提案し、高品質な実空間閉塞に対する深度輪郭の正確な密集写像を生成する。
プロセス全体がGPUによって加速されます。
このアルゴリズムの有効性を評価するために,dcoアルゴリズムの実行の各段階について時間平均統計解析を行った。
実仮想オクルージョン効果のリアビリティを検証するため, 単一側, 囲み, 複素オクルージョンの実験的解析を行い, 二次最適化を伴わないオクルージョン法と比較した。
実時間dcoに対するgpu実装により,提示したdcoアルゴリズムの適用により,実時間性能と実時間咬合の視覚的品質が向上することを示す。
関連論文リスト
- Visual SLAM with 3D Gaussian Primitives and Depth Priors Enabling Novel View Synthesis [11.236094544193605]
従来の幾何学に基づくSLAMシステムは、密度の高い3D再構成機能を持たない。
本稿では,新しいビュー合成技術である3次元ガウススプラッティングを組み込んだリアルタイムRGB-D SLAMシステムを提案する。
論文 参考訳（メタデータ） (2024-08-10T21:23:08Z) - SD-MVS: Segmentation-Driven Deformation Multi-View Stereo with Spherical
Refinement and EM optimization [6.886220026399106]
テクスチャレス領域の3次元再構成における課題を解決するために,多視点ステレオ (SD-MVS) を導入する。
私たちは、シーン内のセグメンテーションインスタンスを区別するためにSAM(Segment Anything Model)を採用した最初の人です。
球面座標と正規点の勾配勾配と深度の画素方向探索間隔を組み合わせた独自の精細化戦略を提案する。
論文 参考訳（メタデータ） (2024-01-12T05:25:57Z) - RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering
Assisted Distillation [50.35403070279804]
マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。
本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
論文 参考訳（メタデータ） (2023-12-19T03:39:56Z) - OPA-3D: Occlusion-Aware Pixel-Wise Aggregation for Monocular 3D Object
Detection [51.153003057515754]
OPA-3Dは、Occlusion-Aware Pixel-Wise Aggregationネットワークである。
密集した風景深度と、奥行きのある箱残量と物の境界箱を共同で推定する。
メインカーのカテゴリーでは最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2022-11-02T14:19:13Z) - On Robust Cross-View Consistency in Self-Supervised Monocular Depth Estimation [56.97699793236174]
本論文では,2種類の堅牢なクロスビュー整合性について検討する。
深度特徴空間と3次元ボクセル空間の時間的コヒーレンスを自己教師付き単眼深度推定に利用した。
いくつかのアウトドアベンチマークの実験結果から,本手法は最先端技術より優れていることが示された。
論文 参考訳（メタデータ） (2022-09-19T03:46:13Z) - RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects [68.85305626324694]
カメラ空間における光マーチング (RiCS) は、3次元における前景物体の自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。
表現マップは画像の質を高めるだけでなく,時間的コヒーレントな複雑な影効果をモデル化できることを示す。
論文 参考訳（メタデータ） (2022-05-14T05:35:35Z) - Physics-based Differentiable Depth Sensor Simulation [5.134435281973137]
リアルな2.5Dスキャンを生成するための新しいエンドツーエンドの微分可能なシミュレーションパイプラインを紹介します。
各モジュールはw.r.tセンサーとシーンパラメータを区別できる。
シミュレーションにより,実スキャンで得られたモデルの性能が大幅に向上する。
論文 参考訳（メタデータ） (2021-03-30T17:59:43Z) - Depth-conditioned Dynamic Message Propagation for Monocular 3D Object
Detection [86.25022248968908]
モノラル3Dオブジェクト検出の問題を解決するために、コンテキストと奥行きを認識する特徴表現を学びます。
KITTIベンチマークデータセットにおける単眼的アプローチにおける最新の結果を示す。
論文 参考訳（メタデータ） (2021-03-30T16:20:24Z) - SCFusion: Real-time Incremental Scene Reconstruction with Semantic
Completion [86.77318031029404]
本研究では,シーン再構成とセマンティックシーン補完を段階的かつリアルタイムに共同で行うフレームワークを提案する。
我々のフレームワークは、3Dグローバルモデルでセマンティックコンプリートを正確かつ効率的に融合させるために、占有マップを処理し、ボクセル状態を活用するように設計された新しいニューラルアーキテクチャに依存している。
論文 参考訳（メタデータ） (2020-10-26T15:31:52Z) - Deep Probabilistic Feature-metric Tracking [27.137827823264942]
画素単位の深度特徴写像と深度特徴量不確実性写像を学習するための新しいフレームワークを提案する。
CNNは、より高速で信頼性の高い収束のための深い初期ポーズを予測する。
実験により,TUM RGB-Dデータセットと3次元剛性物体追跡データセットの最先端性能が示された。
論文 参考訳（メタデータ） (2020-08-31T11:47:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。