論文の概要: Robust Depth Enhancement via Polarization Prompt Fusion Tuning

• arxiv url: http://arxiv.org/abs/2404.04318v1
• Date: Fri, 5 Apr 2024 17:55:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 23:27:22.599493
• Title: Robust Depth Enhancement via Polarization Prompt Fusion Tuning
• Title（参考訳）: 偏光プロンプト核融合チューニングによるロバスト深さ向上
• Authors: Kei Ikemura, Yiming Huang, Felix Heide, Zhaoxiang Zhang, Qifeng Chen, Chenyang Lei,
• Abstract要約: 様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。 まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。 大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
• 参考スコア（独自算出の注目度）: 112.88371907047396
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Existing depth sensors are imperfect and may provide inaccurate depth values in challenging scenarios, such as in the presence of transparent or reflective objects. In this work, we present a general framework that leverages polarization imaging to improve inaccurate depth measurements from various depth sensors. Previous polarization-based depth enhancement methods focus on utilizing pure physics-based formulas for a single sensor. In contrast, our method first adopts a learning-based strategy where a neural network is trained to estimate a dense and complete depth map from polarization data and a sensor depth map from different sensors. To further improve the performance, we propose a Polarization Prompt Fusion Tuning (PPFT) strategy to effectively utilize RGB-based models pre-trained on large-scale datasets, as the size of the polarization dataset is limited to train a strong model from scratch. We conducted extensive experiments on a public dataset, and the results demonstrate that the proposed method performs favorably compared to existing depth enhancement baselines. Code and demos are available at https://lastbasket.github.io/PPFT/.
• Abstract（参考訳）: 既存の深度センサーは不完全であり、透明物体や反射物体の存在など、困難なシナリオにおいて不正確な深度値を提供する可能性がある。 本研究では,様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用する汎用フレームワークを提案する。 従来の偏光法に基づく深度向上法は、純粋な物理式を単一センサに利用することに集中していた。 対照的に,本手法はまず,偏光データとセンサ深度マップから高密度で完全な深度マップを推定するためにニューラルネットワークを訓練する学習ベースの戦略を採用する。 そこで本研究では,大規模データセット上で事前学習したRGBベースのモデルを有効活用するための極性化プロンプト・フュージョン・チューニング(PPFT)戦略を提案する。 提案手法は, 既存の深度向上ベースラインと比較して, 良好に動作することを示す。 コードとデモはhttps://lastbasket.github.io/PPFT/.comで公開されている。

関連論文リスト

• DELTAR: Depth Estimation from a Light-weight ToF Sensor and RGB Image [39.389538555506256]
  我々は,高分解能かつ高精度な深度測定機能を備えた軽量ToFセンサを実現する新しい手法であるDELTARを提案する。 DELTARの中核として、深度分布用にカスタマイズされた特徴抽出器と注意に基づくニューラルアーキテクチャを提案し、色とToF領域からの情報を効率的に融合させる。 実験により,提案手法は深度分解能と深度超解像のために設計された既存のフレームワークよりも精度が高く,コモディティレベルのRGB-Dセンサで同等の性能が得られることが示された。
  論文  参考訳（メタデータ） (2022-09-27T13:11:37Z)
• Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
  RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。 具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。 実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T17:20:18Z)
• Consistent Depth Prediction under Various Illuminations using Dilated Cross Attention [1.332560004325655]
  我々は,インターネット3D屋内シーンを用いて照明を手動で調整し,写真リアルなRGB写真とその対応する深度とBRDFマップを作成することを提案する。 異なる照明条件下での深度予測の整合性を維持するため,これらの拡張された特徴に横断的な注意を払っている。 提案手法は,Variデータセットの最先端手法との比較により評価され,実験で有意な改善が見られた。
  論文  参考訳（メタデータ） (2021-12-15T10:02:46Z)
• Sparse Auxiliary Networks for Unified Monocular Depth Prediction and Completion [56.85837052421469]
  コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。 本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。 sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
  論文  参考訳（メタデータ） (2021-03-30T21:22:26Z)
• Adaptive Illumination based Depth Sensing using Deep Learning [18.72398843488572]
  RGB画像とスパース深度マップ計測を融合した高密度深度マップを推定する様々な手法が提案されている。 ハードウェアの最近の進歩により、適応的な深度測定が可能となり、深度マップ推定がさらに改善された。 このような適応的なサンプリングマスクは,様々なサンプリング率で多くのrgbおよびスパース深度融合アルゴリズムにうまく一般化できることを示す。
  論文  参考訳（メタデータ） (2021-03-23T04:21:07Z)
• ADAADepth: Adapting Data Augmentation and Attention for Self-Supervised Monocular Depth Estimation [8.827921242078881]
  深度向上を深度監督として活用し、正確で堅牢な深度を学習するADAAを提案します。 本稿では,リッチなコンテキスト特徴を学習し,さらに深度を向上するリレーショナル自己認識モジュールを提案する。 KITTI運転データセットの予測深度を評価し、最新の結果を実現します。
  論文  参考訳（メタデータ） (2021-03-01T09:06:55Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)
• Depth Completion via Inductive Fusion of Planar LIDAR and Monocular Camera [27.978780155504467]
  我々は、確率モデルにインスパイアされた異なるセンサのモーダル性をよりよく融合させるインダクティブ遅延融合ブロックを導入する。 このブロックは、疎深度特徴による実演に基づく深度予測を誘導するために、密集したコンテキスト特徴を使用する。 提案手法は,ベンチマークデータセットとシミュレーションデータセットの両方に対する従来のアプローチと比較して有望な結果を示す。
  論文  参考訳（メタデータ） (2020-09-03T18:39:57Z)
• Single Image Depth Estimation Trained via Depth from Defocus Cues [105.67073923825842]
  単一のRGB画像から深度を推定することはコンピュータビジョンの基本的な課題である。 この作業では、異なる視点ではなく、フォーカスキューからの奥行きに依存しています。 我々は,KITTIとMake3Dデータセットの教師あり手法と同等な結果を提示し,教師なし学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-14T20:22:54Z)
• Video Depth Estimation by Fusing Flow-to-Depth Proposals [65.24533384679657]
  本稿では,映像深度推定のためのフロー・ツー・ディープス・レイヤの異なる手法を提案する。 モデルは、フロー・トゥ・ディープス層、カメラ・ポーズ・リファインメント・モジュール、ディープ・フュージョン・ネットワークから構成される。 提案手法は,最先端の深度推定法より優れ,合理的なデータセット一般化能力を有する。
  論文  参考訳（メタデータ） (2019-12-30T10:45:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。