論文の概要: Unsupervised Visible-light Images Guided Cross-Spectrum Depth Estimation from Dual-Modality Cameras

• arxiv url: http://arxiv.org/abs/2205.00257v1
• Date: Sat, 30 Apr 2022 12:58:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-03 15:20:58.413386
• Title: Unsupervised Visible-light Images Guided Cross-Spectrum Depth Estimation from Dual-Modality Cameras
• Title（参考訳）: デュアルモダリティカメラによる非教師なし可視光画像のクロススペクトル深度推定
• Authors: Yubin Guo, Haobo Jiang, Xinlei Qi, Jin Xie, Cheng-Zhong Xu and Hui Kong
• Abstract要約: クロススペクトル深度推定は、対のデュアルスペクトル画像を用いて、すべての照明条件で深度マップを提供することを目的としている。 本稿では,教師なし可視光画像ガイド型クロススペクトル(熱・可視光,略してTIR-VIS)の奥行き推定フレームワークを提案する。 提案手法は,既存手法と比較して性能が向上する。
• 参考スコア（独自算出の注目度）: 33.77748026254935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-spectrum depth estimation aims to provide a depth map in all illumination conditions with a pair of dual-spectrum images. It is valuable for autonomous vehicle applications when the vehicle is equipped with two cameras of different modalities. However, images captured by different-modality cameras can be photometrically quite different. Therefore, cross-spectrum depth estimation is a very challenging problem. Moreover, the shortage of large-scale open-source datasets also retards further research in this field. In this paper, we propose an unsupervised visible-light image guided cross-spectrum (i.e., thermal and visible-light, TIR-VIS in short) depth estimation framework given a pair of RGB and thermal images captured from a visible-light camera and a thermal one. We first adopt a base depth estimation network using RGB-image pairs. Then we propose a multi-scale feature transfer network to transfer features from the TIR-VIS domain to the VIS domain at the feature level to fit the trained depth estimation network. At last, we propose a cross-spectrum depth cycle consistency to improve the depth result of dual-spectrum image pairs. Meanwhile, we release a large dual-spectrum depth estimation dataset with visible-light and far-infrared stereo images captured in different scenes to the society. The experiment result shows that our method achieves better performance than the compared existing methods. Our datasets is available at https://github.com/whitecrow1027/VIS-TIR-Datasets.
• Abstract（参考訳）: クロススペクトル深度推定は、対のデュアルスペクトル画像による全ての照明条件の深度マップを提供することを目的としている。 異なるモードの2つのカメラを搭載している場合、自動運転車の用途に有用である。 しかし、異なるモダリティカメラによって撮影された画像は、写真量的にはかなり異なる。 したがって、スペクトル間深さ推定は非常に難しい問題である。 さらに、大規模なオープンソースデータセットの不足は、この分野のさらなる研究を遅らせている。 本稿では,一対のRGBと熱画像と,可視光カメラとサーマルカメラから撮像した熱画像とが与えられた,教師なしの可視光画像誘導クロススペクトル(即ち熱・可視光,TIR-VIS)の深度推定フレームワークを提案する。 まず,RGB画像ペアを用いたベース深度推定ネットワークを提案する。 そこで本研究では,TIR-VISドメインからVISドメインへ,トレーニングした深度推定ネットワークに適合する機能伝達ネットワークを提案する。 最後に,デュアルスペクトラム画像対の奥行き結果を改善するために,クロススペクトラム深度サイクルの一貫性を提案する。 一方,視光と遠赤外線のステレオ画像が社会に異なる場面で撮影された,大型の二重スペクトル深度推定データセットをリリースする。 実験結果から,本手法は既存手法よりも優れた性能を示すことがわかった。 データセットはhttps://github.com/whitecrow1027/VIS-TIR-Datasetsで公開されています。

関連論文リスト

• Cross-spectral Gated-RGB Stereo Depth Estimation [34.31592077757453]
  ゲート付きカメラがシーンを照らし、シーンのタイムゲートのインパルスを捉えます。 本稿では,これらのマルチモーダルな多視点深度キューを活用可能な新しいステレオ深度推定法を提案する。 提案手法は, 蓄積したLiDAR地盤の100～220mの範囲において, 次の最良既存手法よりも39%高い精度で高精度な深度を実現する。
  論文  参考訳（メタデータ） (2024-05-21T13:10:43Z)
• RBF Weighted Hyper-Involution for RGB-D Object Detection [0.0]
  リアルタイムと2つのストリームRGBDオブジェクト検出モデルを提案する。 提案モデルでは, 深度誘導型ハイパーインボリューションを生深度マップの空間的相互作用パターンに基づいて動的に適応する深度誘導型ハイパーインボリューションと, アップサンプリングに基づくトレーニング可能な融合層からなる。 提案モデルは,NYU Depth v2データセットで他のRGB-Dベースオブジェクト検出モデルよりも優れており,SUN RGB-Dで比較した(第2位)結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-30T11:25:34Z)
• AGG-Net: Attention Guided Gated-convolutional Network for Depth Image Completion [1.8820731605557168]
  注意誘導ゲート畳み込みネットワーク(AGG-Net)に基づく深度画像補完のための新しいモデルを提案する。 符号化段階では、異なるスケールでの深度と色の特徴の融合を実現するために、AG-GConvモジュールが提案されている。 復号段階では、アテンションガイドスキップ接続(AG-SC)モジュールが提示され、再構成にあまりにも多くの深度に関係のない特徴を導入することを避ける。
  論文  参考訳（メタデータ） (2023-09-04T14:16:08Z)
• Multi-Camera Collaborative Depth Prediction via Consistent Structure Estimation [75.99435808648784]
  本稿では,新しいマルチカメラ協調深度予測法を提案する。 カメラ間の構造的整合性を維持しながら、大きな重なり合う領域を必要としない。 DDADおよびNuScenesデータセットの実験結果から,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-05T03:44:34Z)
• SurroundDepth: Entangling Surrounding Views for Self-Supervised Multi-Camera Depth Estimation [101.55622133406446]
  本研究では,複数の周囲からの情報を組み込んだSurroundDepth法を提案し,カメラ間の深度マップの予測を行う。 具体的には、周囲のすべてのビューを処理し、複数のビューから情報を効果的に融合するクロスビュー変換器を提案する。 実験において,本手法は,挑戦的なマルチカメラ深度推定データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-04-07T17:58:47Z)
• Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
  RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。 具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。 実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T17:20:18Z)
• Sparse Auxiliary Networks for Unified Monocular Depth Prediction and Completion [56.85837052421469]
  コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。 本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。 sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
  論文  参考訳（メタデータ） (2021-03-30T21:22:26Z)
• Dual Pixel Exploration: Simultaneous Depth Estimation and Image Restoration [77.1056200937214]
  本研究では,ぼかしと深度情報をリンクするDPペアの形成について検討する。 本稿では,画像の深さを共同で推定し,復元するためのエンドツーエンドDDDNet(DPベースのDepth and De Network)を提案する。
  論文  参考訳（メタデータ） (2020-12-01T06:53:57Z)
• Single Image Depth Estimation Trained via Depth from Defocus Cues [105.67073923825842]
  単一のRGB画像から深度を推定することはコンピュータビジョンの基本的な課題である。 この作業では、異なる視点ではなく、フォーカスキューからの奥行きに依存しています。 我々は,KITTIとMake3Dデータセットの教師あり手法と同等な結果を提示し,教師なし学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-14T20:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。