論文の概要: MobiFuse: A High-Precision On-device Depth Perception System with Multi-Data Fusion
- arxiv url: http://arxiv.org/abs/2412.13848v1
- Date: Wed, 18 Dec 2024 13:42:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-19 16:48:00.013775
- Title: MobiFuse: A High-Precision On-device Depth Perception System with Multi-Data Fusion
- Title（参考訳）: MobiFuse:マルチデータフュージョンを用いた高精度オンデバイス深度知覚システム
- Authors: Jinrui Zhang, Deyu Zhang, Tingting Long, Wenxin Chen, Ju Ren, Yunxin Liu, Yudong Zhao, Yaoxue Zhang, Youngki Lee,
- Abstract要約: 本稿では,デュアルRGBとToF(Time-of-Flight)カメラを組み合わせたモバイルデバイス用高精度深度認識システムMobiFuseを提案する。
実験により, MobiFuseは, 深さ測定誤差を最大77.7%削減し, ベースラインよりも優れていることを示した。
また、多様なデータセットにまたがる強力な一般化を示し、3D再構成と3Dセグメンテーションという2つの下流タスクの有効性を証明している。
- 参考スコア（独自算出の注目度）: 29.27983658110014
- License:
- Abstract: We present MobiFuse, a high-precision depth perception system on mobile devices that combines dual RGB and Time-of-Flight (ToF) cameras. To achieve this, we leverage physical principles from various environmental factors to propose the Depth Error Indication (DEI) modality, characterizing the depth error of ToF and stereo-matching. Furthermore, we employ a progressive fusion strategy, merging geometric features from ToF and stereo depth maps with depth error features from the DEI modality to create precise depth maps. Additionally, we create a new ToF-Stereo depth dataset, RealToF, to train and validate our model. Our experiments demonstrate that MobiFuse excels over baselines by significantly reducing depth measurement errors by up to 77.7%. It also showcases strong generalization across diverse datasets and proves effectiveness in two downstream tasks: 3D reconstruction and 3D segmentation. The demo video of MobiFuse in real-life scenarios is available at the de-identified YouTube link(https://youtu.be/jy-Sp7T1LVs).
- Abstract（参考訳）: 本稿では,デュアルRGBとToF(Time-of-Flight)カメラを組み合わせたモバイルデバイス用高精度深度認識システムMobiFuseを提案する。
そこで我々は,様々な環境要因の物理原理を活用し,ToFの深さ誤差とステレオマッチングを特徴付けるDepth Error Indication (DEI)Modalityを提案する。
さらに,ToFとステレオ深度マップの幾何的特徴とDeIモードの深度誤差特徴とを融合して正確な深度マップを作成する,プログレッシブ融合戦略を採用する。
さらに、モデルのトレーニングと検証を行うために、新しいToF-Stereoディープデータセット、RealToFを作成しました。
実験により, MobiFuseは, 深さ測定誤差を最大77.7%削減し, ベースラインよりも優れていることを示した。
また、多様なデータセットにまたがる強力な一般化を示し、3D再構成と3Dセグメンテーションという2つの下流タスクの有効性を証明している。
MobiFuseの実際のシナリオでのデモビデオはYouTubeの未確認リンク(https://youtu.be/jy-Sp7T1LVs)で公開されている。
関連論文リスト
- DepthLab: From Partial to Complete [80.58276388743306]
不足する値は、幅広いアプリケーションにわたる深度データにとって共通の課題である。
この作業は、イメージ拡散プリエントを利用した基礎深度塗装モデルであるDepthLabと、このギャップを埋めるものだ。
提案手法は,3Dシーンのインペイント,テキストから3Dシーン生成,DUST3Rによるスパースビュー再構成,LiDAR深度補完など,様々なダウンストリームタスクにおいて有用であることを示す。
論文 参考訳（メタデータ） (2024-12-24T04:16:38Z) - OPEN: Object-wise Position Embedding for Multi-view 3D Object Detection [102.0744303467713]
OPENと呼ばれる新しい多視点3Dオブジェクト検出器を提案する。
我々の主目的は、提案したオブジェクト指向位置埋め込みを通して、オブジェクトワイド情報をネットワークに効果的に注入することである。
OPENは、nuScenesテストベンチマークで64.4%のNDSと56.7%のmAPで、最先端の新たなパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-07-15T14:29:15Z) - MonoCD: Monocular 3D Object Detection with Complementary Depths [9.186673054867866]
深度推定は単分子3次元物体検出に不可欠だが挑戦的なサブタスクである。
2つの新しい設計で深度の相補性を高めることを提案する。
KITTIベンチマーク実験により, 余分なデータを導入することなく, 最先端の性能を実現することができた。
論文 参考訳（メタデータ） (2024-04-04T03:30:49Z) - ARAI-MVSNet: A multi-view stereo depth estimation network with adaptive
depth range and depth interval [19.28042366225802]
マルチビューステレオ(MVS)は幾何学的コンピュータビジョンの基本的な問題である。
適応的な全画素深度範囲と深度間隔を実現するために,新しい多段粗大化フレームワークを提案する。
我々のモデルは最先端の性能を達成し、競争一般化能力を得る。
論文 参考訳（メタデータ） (2023-08-17T14:52:11Z) - Consistent Direct Time-of-Flight Video Depth Super-Resolution [9.173767380836852]
飛行時間(dToF)センサーは、次世代のオンデバイス3Dセンシングを約束している。
低分解能dToFイメージングによる空間的曖昧性を緩和する最初の多フレーム融合方式を提案する。
動的オブジェクトと現実的なdToFシミュレータを備えた,最初の合成RGB-dToFビデオデータセットであるDyDToFを紹介する。
論文 参考訳（メタデータ） (2022-11-16T04:16:20Z) - DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection [83.18142309597984]
ライダーとカメラは、自動運転における3D検出を補完する情報を提供する重要なセンサーである。
我々はDeepFusionという名前の汎用マルチモーダル3D検出モデル群を開発した。
論文 参考訳（メタデータ） (2022-03-15T18:46:06Z) - Joint Learning of Salient Object Detection, Depth Estimation and Contour
Extraction [91.43066633305662]
RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。
具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。
実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
論文 参考訳（メタデータ） (2022-03-09T17:20:18Z) - Attention Aware Cost Volume Pyramid Based Multi-view Stereo Network for
3D Reconstruction [12.728154351588053]
マルチビュー画像から3次元再構成を行うための効率的なマルチビューステレオ(MVS)ネットワークを提案する。
高分解能深度を実現するために粗粒度深度推論戦略を導入する。
論文 参考訳（メタデータ） (2020-11-25T13:34:11Z) - OmniSLAM: Omnidirectional Localization and Dense Mapping for
Wide-baseline Multi-camera Systems [88.41004332322788]
超広視野魚眼カメラ(FOV)を用いた広視野多視点ステレオ構成のための全方向位置決めと高密度マッピングシステムを提案する。
より実用的で正確な再構築のために、全方向深度推定のための改良された軽量のディープニューラルネットワークを導入する。
我々は全方位深度推定をビジュアル・オドメトリー(VO)に統合し,大域的整合性のためのループ閉鎖モジュールを付加する。
論文 参考訳（メタデータ） (2020-03-18T05:52:10Z) - Video Depth Estimation by Fusing Flow-to-Depth Proposals [65.24533384679657]
本稿では,映像深度推定のためのフロー・ツー・ディープス・レイヤの異なる手法を提案する。
モデルは、フロー・トゥ・ディープス層、カメラ・ポーズ・リファインメント・モジュール、ディープ・フュージョン・ネットワークから構成される。
提案手法は,最先端の深度推定法より優れ,合理的なデータセット一般化能力を有する。
論文 参考訳（メタデータ） (2019-12-30T10:45:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。