Fugu-MT 論文翻訳(概要): Self-Supervised Enhancement for Depth from a Lightweight ToF Sensor with Monocular Images

論文の概要: Self-Supervised Enhancement for Depth from a Lightweight ToF Sensor with Monocular Images

arxiv url: http://arxiv.org/abs/2506.13444v2
Date: Tue, 17 Jun 2025 06:43:53 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-18 13:08:30.125499
Title: Self-Supervised Enhancement for Depth from a Lightweight ToF Sensor with Monocular Images
Title（参考訳）: 単眼画像を用いた軽量ToFセンサの奥行きの自己改善
Authors: Laiyan Ding, Hualie Jiang, Jiwei Chen, Rui Huang,
Abstract要約: 本稿では,自己教師型学習フレームワークであるSelfToFを提案する。提案手法は,NYUおよびScanNetデータセットの広範な実験により検証され,効率的かつ効果的である。
参考スコア（独自算出の注目度）: 7.317782580649895
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Depth map enhancement using paired high-resolution RGB images offers a cost-effective solution for improving low-resolution depth data from lightweight ToF sensors. Nevertheless, naively adopting a depth estimation pipeline to fuse the two modalities requires groundtruth depth maps for supervision. To address this, we propose a self-supervised learning framework, SelfToF, which generates detailed and scale-aware depth maps. Starting from an image-based self-supervised depth estimation pipeline, we add low-resolution depth as inputs, design a new depth consistency loss, propose a scale-recovery module, and finally obtain a large performance boost. Furthermore, since the ToF signal sparsity varies in real-world applications, we upgrade SelfToF to SelfToF* with submanifold convolution and guided feature fusion. Consequently, SelfToF* maintain robust performance across varying sparsity levels in ToF data. Overall, our proposed method is both efficient and effective, as verified by extensive experiments on the NYU and ScanNet datasets. The code is available at \href{https://github.com/denyingmxd/selftof}{https://github.com/denyingmxd/selftof}.
Abstract（参考訳）: ペアリングされた高解像度RGB画像を用いた深度マップの高精細化は、軽量ToFセンサからの低解像度深度データを改善するためのコスト効率のよいソリューションを提供する。それでも、2つのモードを融合させるためには、内在的に深度推定パイプラインを採用するには、監督のための地中深度マップが必要である。そこで本研究では,自己教師型学習フレームワークであるSelfToFを提案する。画像に基づく自己監督深度推定パイプラインから始まり、入力として低分解能深度を付加し、新しい深度一貫性損失を設計し、スケール回復モジュールを提案し、最終的に大きな性能向上を得る。さらに,ToF信号のばらつきは実世界のアプリケーションによって異なるため,サブマニフォールド畳み込みと特徴融合によるSelfToFをSelfToF*にアップグレードする。その結果、SelfToF*はToFデータ内の様々な空間レベルにわたって堅牢なパフォーマンスを維持している。提案手法は,NYUデータセットとScanNetデータセットの広範な実験によって検証され,効率的かつ効果的である。コードは \href{https://github.com/denyingmxd/selftof}{https://github.com/denyingmxd/selftof} で公開されている。

関連論文リスト

Marigold-DC: Zero-Shot Monocular Depth Completion with Guided Diffusion [51.69876947593144]
奥行き完了のための既存の手法は、厳密に制約された設定で動作する。単眼深度推定の進歩に触発されて,画像条件の深度マップ生成として深度補完を再構成した。 Marigold-DCは、単分子深度推定のための事前訓練された潜伏拡散モデルを構築し、試験時間ガイダンスとして深度観測を注入する。
論文参考訳（メタデータ） (2024-12-18T00:06:41Z)
Towards Single-Lens Controllable Depth-of-Field Imaging via Depth-Aware Point Spread Functions [19.312034704019634]
コントロール可能なDepth-of-Field(DoF)イメージングは、重くて高価なハイエンドレンズをベースとした素晴らしい視覚効果を一般的に生み出す。この研究は、MOS(Minimalist Optical Systems)の2つの大きな限界に焦点を合わせ、計算方法でシングルレンズ制御可能なDoFイメージングを実現する。 All-in-Focus (AiF) 収差補正と単眼深度推定を併用したDepth-aware Controllable DoF Imaging (DCDI) フレームワークを提案する。 Omni-Lens-Fieldにより推定される深度マップ、復元画像、深度対応PSFマップにより、シングルレンズ制御可能なDoFイメージングが可能となる。
論文参考訳（メタデータ） (2024-09-15T14:52:16Z)
Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
論文参考訳（メタデータ） (2024-04-05T17:55:33Z)
RDFC-GAN: RGB-Depth Fusion CycleGAN for Indoor Depth Completion [28.634851863097953]
本稿では,RDFC-GANという2分岐のエンドツーエンド核融合ネットワークを提案する。 RGBと不完全な深度画像のペアを入力として、密集した深度マップを予測する。第1分枝は、マンハッタン世界の仮定に固執することにより、エンコーダ・デコーダ構造を用いる。もう一方のブランチでは、RGBイメージを詳細なテクスチャ化された深度マップに変換するのに適したRGB深度融合CycleGANが適用されている。
論文参考訳（メタデータ） (2023-06-06T11:03:05Z)
DELTAR: Depth Estimation from a Light-weight ToF Sensor and RGB Image [39.389538555506256]
我々は,高分解能かつ高精度な深度測定機能を備えた軽量ToFセンサを実現する新しい手法であるDELTARを提案する。 DELTARの中核として、深度分布用にカスタマイズされた特徴抽出器と注意に基づくニューラルアーキテクチャを提案し、色とToF領域からの情報を効率的に融合させる。実験により,提案手法は深度分解能と深度超解像のために設計された既存のフレームワークよりも精度が高く,コモディティレベルのRGB-Dセンサで同等の性能が得られることが示された。
論文参考訳（メタデータ） (2022-09-27T13:11:37Z)
End-to-end Learning for Joint Depth and Image Reconstruction from Diffracted Rotation [10.896567381206715]
回折回転から深度を学習する新しいエンド・ツー・エンド学習手法を提案する。提案手法は, 単分子深度推定のタスクにおいて既存の手法よりもはるかに少ない複雑なモデルと少ないトレーニングデータを必要とする。
論文参考訳（メタデータ） (2022-04-14T16:14:37Z)
RGB-Depth Fusion GAN for Indoor Depth Completion [29.938869342958125]
本稿では,RGBと不完全深度画像のペアを入力として,高密度で完成度の高い深度マップを推定する,新しい2分岐エンドツーエンド融合ネットワークを設計する。あるブランチでは、RGB画像を微細なテクスチャ化深度マップに転送するRGB深度融合GANを提案する。他方のブランチでは、W-AdaINという名前の適応核融合モジュールを採用し、2つのブランチにまたがる特徴を伝播させます。
論文参考訳（メタデータ） (2022-03-21T10:26:38Z)
Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
論文参考訳（メタデータ） (2022-03-09T17:20:18Z)
High-resolution Depth Maps Imaging via Attention-based Hierarchical Multi-modal Fusion [84.24973877109181]
誘導DSRのための新しい注意に基づく階層型マルチモーダル融合ネットワークを提案する。本手法は,再現精度,動作速度,メモリ効率の点で最先端手法よりも優れていることを示す。
論文参考訳（メタデータ） (2021-04-04T03:28:33Z)
Progressive Depth Learning for Single Image Dehazing [56.71963910162241]
既存の脱湿法は、しばしば深度を無視し、より重いヘイズが視界を乱す遠くの地域で失敗する。画像深度と伝送マップを反復的に推定するディープエンドツーエンドモデルを提案する。私たちのアプローチは、画像深度と伝送マップの内部関係を明示的にモデリングすることから利益を得ます。
論文参考訳（メタデータ） (2021-02-21T05:24:18Z)
Video Depth Estimation by Fusing Flow-to-Depth Proposals [65.24533384679657]
本稿では,映像深度推定のためのフロー・ツー・ディープス・レイヤの異なる手法を提案する。モデルは、フロー・トゥ・ディープス層、カメラ・ポーズ・リファインメント・モジュール、ディープ・フュージョン・ネットワークから構成される。提案手法は,最先端の深度推定法より優れ,合理的なデータセット一般化能力を有する。
論文参考訳（メタデータ） (2019-12-30T10:45:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。