論文の概要: Interactive Occlusion Boundary Estimation through Exploitation of Synthetic Data
- arxiv url: http://arxiv.org/abs/2408.15038v1
- Date: Tue, 27 Aug 2024 13:07:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-28 13:43:53.409485
- Title: Interactive Occlusion Boundary Estimation through Exploitation of Synthetic Data
- Title(参考訳): 合成データの爆発による対話的咬合境界推定
- Authors: Lintao Xu, Chaohui Wang,
- Abstract要約: 閉塞境界(OB)は2次元画像中の閉塞事象を幾何学的に局所化し、様々なシーン理解問題に対処するための有用な情報を含む。
本研究では,本論文で最初に発表されたOBの対話的推定について検討し,効率的なディープ・ネットワーク・ベースの手法を提案する。
そこで我々は,2次元画像の自動生成のためのMesh2OBというツールを開発した。
我々はOB-LabNameという名のベンチマークを作成し、120個の高解像度画像と、その基底構造OBの精度を超越した精度のベンチマークを作成しました。
- 参考スコア(独自算出の注目度): 3.8408551754139024
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Occlusion boundaries (OBs) geometrically localize the occlusion events in a 2D image, and contain useful information for addressing various scene understanding problems. To advance their study, we have led the investigation in the following three aspects. Firstly, we have studied interactive estimation of OBs, which is the first in the literature, and proposed an efficient deep-network-based method using multiple-scribble intervention, named DNMMSI, which significantly improves the performance over the state-of-the-art fully-automatic methods. Secondly, we propose to exploit the synthetic benchmark for the training process, thanks to the particularity that OBs are determined geometrically and unambiguously from the 3D scene. To this end, we have developed an efficient tool, named Mesh2OB, for the automatic generation of 2D images together with their ground-truth OBs, using which we have constructed a synthetic benchmark, named OB-FUTURE. Abundant experimental results demonstrate that leveraging such a synthetic benchmark for training achieves promising performance, even without the use of domain adaptation techniques. Finally, to achieve a more compelling and robust evaluation in OB-related research, we have created a real benchmark, named OB-LabName, consisting of 120 high-resolution images together with their ground-truth OBs, with precision surpassing that of previous benchmarks. We will release DNMMSI with pre-trained parameters, Mesh2OB, OB-FUTURE, and OB-LabName to support further research.
- Abstract(参考訳): 閉塞境界(OB)は2次元画像中の閉塞事象を幾何学的に局所化し、様々なシーン理解問題に対処するための有用な情報を含む。
彼らの研究を進めるために、我々は以下の3つの側面で調査を主導した。
まず,本論文で最初に発表されたOBの対話的評価について検討し,DNMMSIと呼ばれるマルチスクリブル介入を用いた効率的なディープネットワーク方式を提案する。
第2に, OBが3Dシーンから幾何的かつ曖昧に決定されるという特異性により, トレーニングプロセスにおいて合成ベンチマークを活用することを提案する。
そこで我々は,2次元画像の自動生成を行うMesh2OBというツールを開発した。
実験結果から, ドメイン適応手法を使わずとも, このようなベンチマークをトレーニングに活用することで, 有望な性能が得られることが示された。
最後に、OB関連研究においてより説得力が高く堅牢な評価を実現するため、120個の高解像度画像とそれ以前のベンチマークの精度を上回り、OB-LabNameという真のベンチマークを作成しました。
DNMMSIには事前訓練されたパラメータ、Mesh2OB、OB-FUTURE、OB-LabNameがあり、さらなる研究をサポートする。
関連論文リスト
- Syn-to-Real Unsupervised Domain Adaptation for Indoor 3D Object Detection [50.448520056844885]
室内3次元物体検出における非教師なし領域適応のための新しいフレームワークを提案する。
合成データセット3D-FRONTから実世界のデータセットScanNetV2とSUN RGB-Dへの適応結果は、ソースオンリーベースラインよりも9.7%、9.1%のmAP25が顕著に改善されていることを示している。
論文 参考訳(メタデータ) (2024-06-17T08:18:41Z) - Dual-Perspective Knowledge Enrichment for Semi-Supervised 3D Object
Detection [55.210991151015534]
本稿では, DPKE という新しい2次元知識豊か化手法を提案する。
我々のDPKEは、データパースペクティブと機能パースペクティブという2つの観点から、限られたトレーニングデータ、特にラベルなしデータの知識を豊かにしています。
論文 参考訳(メタデータ) (2024-01-10T08:56:07Z) - RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering
Assisted Distillation [50.35403070279804]
マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。
本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
論文 参考訳(メタデータ) (2023-12-19T03:39:56Z) - Unsupervised Semantic Segmentation Through Depth-Guided Feature Correlation and Sampling [14.88236554564287]
本研究では,シーンの構造に関する情報を学習プロセスに組み込むことにより,教師なし学習の進歩を構築する。
本研究では,(1)特徴マップと深度マップを空間的に相関させて深度-特徴相関を学習し,シーンの構造に関する知識を誘導する。
次に,シーンの深度情報に対する3次元サンプリング技術を利用して,より効果的に特徴を抽出するために,最遠点サンプリングを実装した。
論文 参考訳(メタデータ) (2023-09-21T11:47:01Z) - 3DMODT: Attention-Guided Affinities for Joint Detection & Tracking in 3D
Point Clouds [95.54285993019843]
本稿では,3次元点雲における複数物体の同時検出と追跡手法を提案する。
本モデルでは,複数のフレームを用いた時間情報を利用してオブジェクトを検出し,一つのネットワーク上で追跡する。
論文 参考訳(メタデータ) (2022-11-01T20:59:38Z) - Deep Active Ensemble Sampling For Image Classification [8.31483061185317]
アクティブラーニングフレームワークは、最も有益なデータポイントのラベル付けを積極的に要求することで、データアノテーションのコストを削減することを目的としている。
提案手法には、不確実性に基づく手法、幾何学的手法、不確実性に基づく手法と幾何学的手法の暗黙の組み合わせなどがある。
本稿では, サンプル選択戦略における効率的な探索・探索トレードオフを実現するために, 不確実性に基づくフレームワークと幾何学的フレームワークの両方の最近の進歩を革新的に統合する。
本フレームワークは,(1)正確な後続推定,(2)計算オーバーヘッドと高い精度のトレードオフの2つの利点を提供する。
論文 参考訳(メタデータ) (2022-10-11T20:20:20Z) - Category-Level 6D Object Pose and Size Estimation using Self-Supervised
Deep Prior Deformation Networks [39.6823489555449]
オブジェクトのインスタンスとそのセマンティクスを3D空間で正確にアノテートすることは困難であり、これらのタスクには合成データが広く使われている。
本研究では,Sim2Realのタスク設定において,カテゴリレベルの6Dオブジェクトのポーズとサイズ推定のための教師なしドメイン適応を実現することを目的としている。
本稿では,新しいCAMERA Deep Prior deformation Network(DPDN)上に構築した手法を提案する。
論文 参考訳(メタデータ) (2022-07-12T10:24:52Z) - Occlusion-Robust Object Pose Estimation with Holistic Representation [42.27081423489484]
State-of-the-art(SOTA)オブジェクトのポーズ推定器は2段階のアプローチを取る。
我々は,新しいブロック・アンド・ブラックアウトバッチ拡張技術を開発した。
また,総合的なポーズ表現学習を促進するためのマルチ精度監視アーキテクチャも開発している。
論文 参考訳(メタデータ) (2021-10-22T08:00:26Z) - Unsupervised Scale-consistent Depth Learning from Video [131.3074342883371]
本研究では,単眼深度推定器SC-Depthを提案する。
スケール一貫性予測の能力により,我々の単分子学習深層ネットワークは簡単にORB-SLAM2システムに統合可能であることを示す。
提案したハイブリッドPseudo-RGBD SLAMは、KITTIにおいて魅力的な結果を示し、追加のトレーニングなしでKAISTデータセットにうまく一般化する。
論文 参考訳(メタデータ) (2021-05-25T02:17:56Z) - Depth-conditioned Dynamic Message Propagation for Monocular 3D Object
Detection [86.25022248968908]
モノラル3Dオブジェクト検出の問題を解決するために、コンテキストと奥行きを認識する特徴表現を学びます。
KITTIベンチマークデータセットにおける単眼的アプローチにおける最新の結果を示す。
論文 参考訳(メタデータ) (2021-03-30T16:20:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。