論文の概要: ToFormer: Towards Large-scale Scenario Depth Completion for Lightweight ToF Camera
- arxiv url: http://arxiv.org/abs/2603.20669v1
- Date: Sat, 21 Mar 2026 06:01:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.029737
- Title: ToFormer: Towards Large-scale Scenario Depth Completion for Lightweight ToF Camera
- Title(参考訳): ToFormer:軽量ToFカメラの大規模シナリオ奥行き補完を目指して
- Authors: Juncheng Chen, Tiancheng Lai, Xingpeng Wang, Bingxin Liao, Baozhe Zhang, Chao Xu, Yanjun Cao,
- Abstract要約: タイム・オブ・フライ(ToF)カメラは、様々なロボットタスクに適用可能なコンパクトな設計と高精度な測定精度を有する。
奥行き完了はToFカメラのセンシング範囲を拡大する潜在的な解決策として浮上している。
短距離ToFカメラの大規模シナリオにおける深度補正を実現するためのフルスタックフレームワークを提案する。
- 参考スコア(独自算出の注目度): 15.365848097977135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Time-of-Flight (ToF) cameras possess compact design and high measurement precision to be applied to various robot tasks. However, their limited sensing range restricts deployment in large-scale scenarios. Depth completion has emerged as a potential solution to expand the sensing range of ToF cameras, but existing research lacks dedicated datasets and struggles to generalize to ToF measurements. In this paper, we propose a full-stack framework that enables depth completion in large-scale scenarios for short-range ToF cameras. First, we construct a multi-sensor platform with a reconstruction-based pipeline to collect real-world ToF samples with dense large-scale ground truth, yielding the first LArge-ScalE scenaRio ToF depth completion dataset (LASER-ToF). Second, we propose a sensor-aware depth completion network that incorporates a novel 3D branch with a 3D-2D Joint Propagation Pooling (JPP) module and Multimodal Cross-Covariance Attention (MXCA), enabling effective modeling of long-range relationships and efficient 3D-2D fusion under non-uniform ToF depth sparsity. Moreover, our network can utilize the sparse point cloud from visual SLAM as a supplement to ToF depth to further improve prediction accuracy. Experiments show that our method achieves an 8.6% lower mean absolute error than the second-best method, while maintaining lightweight design to support onboard deployment. Finally, to verify the system's applicability on real robots, we deploy proposed method on a quadrotor at a 10Hz runtime, enabling reliable large-scale mapping and long-range planning in challenging environments for short-range ToF cameras.
- Abstract(参考訳): タイム・オブ・フライ(ToF)カメラは、様々なロボットタスクに適用可能なコンパクトな設計と高精度な測定精度を有する。
しかし、その制限されたセンシング範囲は、大規模シナリオでのデプロイメントを制限する。
奥行き完了は、ToFカメラのセンシング範囲を拡大する潜在的な解決策として浮上しているが、既存の研究には専用のデータセットがなく、ToF測定への一般化に苦慮している。
本稿では,短距離ToFカメラの大規模シナリオにおける深度補正を実現するためのフルスタックフレームワークを提案する。
まず,LArge-ScalE scenaRio ToF depth completion dataset (LASER-ToF)を作成した。
次に,JPPモジュールとMXCA(Multimodal Cross-Covariance Attention)モジュールを備えた新しい3Dブランチを組み込んだセンサ・アウェア・ディープ・コンプリート・ネットワークを提案する。
さらに,このネットワークでは,視的SLAMからの疎点雲をToF深度補足として利用することにより,予測精度をさらに向上することができる。
実験の結果,本手法は第2ベット法よりも平均絶対誤差が8.6%低く,軽量な設計を維持できることがわかった。
最後に,本システムによる実ロボットへの適用性を検証するため,提案手法を10Hzの4乗子に展開し,短時間のToFカメラにおいて,信頼性の高い大規模マッピングと長距離計画を可能にする。
関連論文リスト
- FreqPDE: Rethinking Positional Depth Embedding for Multi-View 3D Object Detection Transformers [91.59069344768858]
周波数対応位置深度埋め込み (FreqPDE) を導入し, 空間情報と2次元画像特徴を付加して3次元検出変換器デコーダを提案する。
FreqPDEは2D画像特徴と3D位置埋め込みを組み合わせることで、クエリデコーディングのための3D深度認識機能を生成する。
論文 参考訳(メタデータ) (2025-10-17T07:36:54Z) - Self-Supervised Enhancement for Depth from a Lightweight ToF Sensor with Monocular Images [7.317782580649895]
本稿では,自己教師型学習フレームワークであるSelfToFを提案する。
提案手法は,NYUおよびScanNetデータセットの広範な実験により検証され,効率的かつ効果的である。
論文 参考訳(メタデータ) (2025-06-16T12:57:58Z) - ToF-Splatting: Dense SLAM using Sparse Time-of-Flight Depth and Multi-Frame Integration [40.16200204154956]
ToF-Splatting(ToF-Splatting)は、3次元ガウススプラッティングに基づくSLAMパイプラインであり、非常にスパースなToF入力データを使用する。
提案手法は,極薄のToF深度,単色,マルチビュー幾何から深度マップをマージすることで,深度マップを生成する多フレーム統合モジュールを導入することにより,技術状況を改善する。
論文 参考訳(メタデータ) (2025-04-23T09:19:43Z) - DoF-Gaussian: Controllable Depth-of-Field for 3D Gaussian Splatting [52.52398576505268]
3D-GSのための制御可能な深度法であるDoF-Gaussianを導入する。
我々は、DoF効果を制御するための幾何光学原理に基づくレンズベースイメージングモデルを開発した。
私たちのフレームワークはカスタマイズ可能で、様々なインタラクティブアプリケーションをサポートしています。
論文 参考訳(メタデータ) (2025-03-02T05:57:57Z) - Consistent Direct Time-of-Flight Video Depth Super-Resolution [9.173767380836852]
飛行時間(dToF)センサーは、次世代のオンデバイス3Dセンシングを約束している。
低分解能dToFイメージングによる空間的曖昧性を緩和する最初の多フレーム融合方式を提案する。
動的オブジェクトと現実的なdToFシミュレータを備えた,最初の合成RGB-dToFビデオデータセットであるDyDToFを紹介する。
論文 参考訳(メタデータ) (2022-11-16T04:16:20Z) - DELTAR: Depth Estimation from a Light-weight ToF Sensor and RGB Image [39.389538555506256]
我々は,高分解能かつ高精度な深度測定機能を備えた軽量ToFセンサを実現する新しい手法であるDELTARを提案する。
DELTARの中核として、深度分布用にカスタマイズされた特徴抽出器と注意に基づくニューラルアーキテクチャを提案し、色とToF領域からの情報を効率的に融合させる。
実験により,提案手法は深度分解能と深度超解像のために設計された既存のフレームワークよりも精度が高く,コモディティレベルのRGB-Dセンサで同等の性能が得られることが示された。
論文 参考訳(メタデータ) (2022-09-27T13:11:37Z) - FOF: Learning Fourier Occupancy Field for Monocular Real-time Human
Reconstruction [73.85709132666626]
パラメトリックモデル、ボクセルグリッド、メッシュ、暗黙のニューラル表現といった既存の表現は、高品質な結果とリアルタイムなスピードを同時に達成することが困難である。
本稿では,モノクラーリアルタイムかつ高精度な人体再構成のための,新しい強力で効率的で柔軟な3次元表現であるFourier Occupancy Field (FOF)を提案する。
FOFは、2D畳み込みニューラルネットワークと互換性があり、3D画像と2D画像のギャップを埋めることのできるマルチチャネル画像として保存することができる。
論文 参考訳(メタデータ) (2022-06-05T14:45:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。