論文の概要: Consistent Direct Time-of-Flight Video Depth Super-Resolution

• arxiv url: http://arxiv.org/abs/2211.08658v1
• Date: Wed, 16 Nov 2022 04:16:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 16:14:59.724697
• Title: Consistent Direct Time-of-Flight Video Depth Super-Resolution
• Title（参考訳）: 連続した飛行時間ビデオ深度超解像
• Authors: Zhanghao Sun, Wei Ye, Jinhui Xiong, Gyeongmin Choe, Jialiang Wang, Shuochen Su, Rakesh Ranjan
• Abstract要約: 飛行時間(dToF)センサーは、次世代のオンデバイス3Dセンシングを約束している。 低分解能dToFイメージングによる空間的曖昧性を緩和する最初の多フレーム融合方式を提案する。 我々はDyDToFを紹介した。DyDToFはRGB-dToFビデオデータセットで、動的オブジェクトと実際のdToFシミュレータを備える。
• 参考スコア（独自算出の注目度）: 9.173767380836852
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Direct time-of-flight (dToF) sensors are promising for next-generation on-device 3D sensing. However, to achieve the sufficient signal-to-noise-ratio (SNR) in a compact module, the dToF data has limited spatial resolution (e.g., ~20x30 for iPhone dToF), and it requires a super-resolution step before being passed to downstream tasks. In this paper, we solve this super-resolution problem by fusing the low-resolution dToF data with the corresponding high-resolution RGB guidance. Unlike the conventional RGB-guided depth enhancement approaches which perform the fusion in a per-frame manner, we propose the first multi-frame fusion scheme to mitigate the spatial ambiguity resulting from the low-resolution dToF imaging. In addition, dToF sensors provide unique depth histogram information for each local patch, and we incorporate this dToF-specific feature in our network design to further alleviate spatial ambiguity. To evaluate our models on complex dynamic indoor environments and to provide a large-scale dToF sensor dataset, we introduce DyDToF, the first synthetic RGB-dToF video dataset that features dynamic objects and a realistic dToF simulator following the physical imaging process. We believe the methods and dataset are beneficial to a broad community as dToF depth sensing is becoming mainstream on mobile devices.
• Abstract（参考訳）: 飛行時間(dToF)センサーは、次世代のオンデバイス3Dセンシングを約束している。 しかし、コンパクトモジュールにおける十分な信号対雑音比(SNR)を達成するために、dToFデータは空間分解能が限られている(例えば、iPhone dToFでは20x30)。 本稿では,低分解能dToFデータを対応する高分解能RGBガイダンスで融合することにより,この超分解能問題を解決する。 フレーム単位の融合を行う従来のRGB誘導深度向上手法とは異なり,低分解能dToFイメージングによる空間的曖昧性を緩和する最初の多フレーム融合方式を提案する。 さらに、dToFセンサは各局所パッチに対して独自の深度ヒストグラム情報を提供し、このdToF固有の特徴をネットワーク設計に組み込んで空間的曖昧さを緩和する。 複雑な動的屋内環境におけるモデルの評価と大規模dToFセンサデータセットの提供を目的として,動的オブジェクトを特徴とする最初の合成RGB-dToFビデオデータセットであるDyDToFと,物理画像処理による現実的なdToFシミュレータを紹介する。 dToF深度センシングがモバイルデバイスで主流になりつつあるため、この方法とデータセットは幅広いコミュニティにとって有益であると考えています。

関連論文リスト

• RGB Guided ToF Imaging System: A Survey of Deep Learning-based Methods [30.34690112905212]
  RGBカメラをToFイメージングシステムに統合することは、現実世界を知覚するための重要な技術となっている。 本稿では, ネットワーク構造, 学習戦略, 評価指標, ベンチマークデータセット, 客観的関数など, RGBガイドによるToFイメージングに関する研究を包括的にレビューする。
  論文  参考訳（メタデータ） (2024-05-16T17:59:58Z)
• FloatingFusion: Depth from ToF and Image-stabilized Stereo Cameras [37.812681878193914]
  スマートフォンには、飛行時間(ToF)深度センサーと複数のカラーカメラを備えたマルチモーダルカメラシステムが搭載されている。 高精度な高解像度の深度を作り出すことは、ToFセンサーの低解像度と限られた能動照明力のために依然として困難である。 本稿では,1枚のスナップショットからカメラパラメータを推定できる高密度2D/3Dマッチングに基づく自動校正手法を提案する。
  論文  参考訳（メタデータ） (2022-10-06T09:57:09Z)
• DELTAR: Depth Estimation from a Light-weight ToF Sensor and RGB Image [39.389538555506256]
  我々は,高分解能かつ高精度な深度測定機能を備えた軽量ToFセンサを実現する新しい手法であるDELTARを提案する。 DELTARの中核として、深度分布用にカスタマイズされた特徴抽出器と注意に基づくニューラルアーキテクチャを提案し、色とToF領域からの情報を効率的に融合させる。 実験により,提案手法は深度分解能と深度超解像のために設計された既存のフレームワークよりも精度が高く,コモディティレベルのRGB-Dセンサで同等の性能が得られることが示された。
  論文  参考訳（メタデータ） (2022-09-27T13:11:37Z)
• Learning an Efficient Multimodal Depth Completion Model [11.740546882538142]
  RGB画像ガイドによるスパース深度補完は近年広く注目されているが、まだいくつかの問題に直面している。 提案手法は軽量なアーキテクチャで最先端の手法より優れている。 また、MIPI2022 RGB+TOFディープ・コンプリート・チャレンジでも優勝している。
  論文  参考訳（メタデータ） (2022-08-23T07:03:14Z)
• Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
  RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。 具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。 実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T17:20:18Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)
• Middle-level Fusion for Lightweight RGB-D Salient Object Detection [81.43951906434175]
  本稿では,新しい軽量RGB-D SODモデルについて述べる。 中層核融合構造に IMFF および L モジュールが組み込まれているため,提案モデルは3.9M のパラメータしか持たず,33 FPS で動作する。 いくつかのベンチマークデータセットによる実験結果から,提案手法の有効性と優位性を検証した。
  論文  参考訳（メタデータ） (2021-04-23T11:37:15Z)
• RGB-D Local Implicit Function for Depth Completion of Transparent Objects [43.238923881620494]
  ロボット工学における認識方法の大部分は、RGB-Dカメラが提供する深度情報を必要とする。 標準的な3Dセンサーは、屈折と光の吸収により透明な物体の深さを捉えられない。 ノイズの多いRGB-D入力を考慮し,欠損深度を完備できる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-01T17:00:04Z)
• Self-Supervised Representation Learning for RGB-D Salient Object Detection [93.17479956795862]
  我々は、自己教師付き表現学習を用いて、クロスモーダルオートエンコーダと深さ-輪郭推定という2つのプレテキストタスクを設計する。 我々のプレテキストタスクは、ネットワークがリッチなセマンティックコンテキストをキャプチャする事前トレーニングを実行するのに、少数のRGB-Dデータセットしか必要としない。 RGB-D SODにおけるクロスモーダル核融合の固有の問題として,マルチパス核融合モジュールを提案する。
  論文  参考訳（メタデータ） (2021-01-29T09:16:06Z)
• MobileSal: Extremely Efficient RGB-D Salient Object Detection [62.04876251927581]
  本稿では,効率的なRGB-Dサルエント物体検出(SOD)に焦点を当てた新しいネットワーク,メソッド名を提案する。 RGB-D SODのためのモバイルネットワークの特徴表現能力を強化するために,暗黙的深度復元(IDR)手法を提案する。 IDRとCPRを組み込むことで、7つの挑戦的なRGB-D SODデータセット上のsArtメソッドに対してメソッド名が好ましい。
  論文  参考訳（メタデータ） (2020-12-24T04:36:42Z)
• A Single Stream Network for Robust and Real-time RGB-D Salient Object Detection [89.88222217065858]
  我々は、深度マップを用いて、RGBと深度の間の早期融合と中核融合を誘導する単一ストリームネットワークを設計する。 このモデルは、現在の最も軽量なモデルよりも55.5%軽く、32 FPSのリアルタイム速度で384倍の384ドルの画像を処理している。
  論文  参考訳（メタデータ） (2020-07-14T04:40:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。