論文の概要: Bridging Spectral-wise and Multi-spectral Depth Estimation via Geometry-guided Contrastive Learning

• arxiv url: http://arxiv.org/abs/2503.00793v1
• Date: Sun, 02 Mar 2025 08:45:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:21:36.904627
• Title: Bridging Spectral-wise and Multi-spectral Depth Estimation via Geometry-guided Contrastive Learning
• Title（参考訳）: 幾何誘導型コントラスト学習によるブリジングスペクトルとマルチスペクトル深さの推定
• Authors: Ukcheol Shin, Kyunghyun Lee, Jean Oh,
• Abstract要約: マルチスペクトル画像からの深度推定のために,アライメント・アンド・フューズ・ストラテジーという効果的な解を提案する。 提案手法に基づいて,スペクトル不変および多スペクトル融合深度推定の両方を単一深度ネットワークで行うことができる。
• 参考スコア（独自算出の注目度）: 14.780395819442052
• License:
• Abstract: Deploying depth estimation networks in the real world requires high-level robustness against various adverse conditions to ensure safe and reliable autonomy. For this purpose, many autonomous vehicles employ multi-modal sensor systems, including an RGB camera, NIR camera, thermal camera, LiDAR, or Radar. They mainly adopt two strategies to use multiple sensors: modality-wise and multi-modal fused inference. The former method is flexible but memory-inefficient, unreliable, and vulnerable. Multi-modal fusion can provide high-level reliability, yet it needs a specialized architecture. In this paper, we propose an effective solution, named align-and-fuse strategy, for the depth estimation from multi-spectral images. In the align stage, we align embedding spaces between multiple spectrum bands to learn shareable representation across multi-spectral images by minimizing contrastive loss of global and spatially aligned local features with geometry cue. After that, in the fuse stage, we train an attachable feature fusion module that can selectively aggregate the multi-spectral features for reliable and robust prediction results. Based on the proposed method, a single-depth network can achieve both spectral-invariant and multi-spectral fused depth estimation while preserving reliability, memory efficiency, and flexibility.
• Abstract（参考訳）: 現実世界に深度推定ネットワークを配置するには、安全で信頼性の高い自律性を確保するために、様々な悪条件に対して高いレベルの堅牢性が必要である。 この目的のために、多くの自動運転車はRGBカメラ、NIRカメラ、サーマルカメラ、LiDAR、Radarなどのマルチモーダルセンサーシステムを採用している。 主に、モーダルワイズとマルチモーダルフューズド推論という、複数のセンサーを使用するための2つの戦略を採用している。 前者の方法は柔軟性があるが、メモリ非効率で、信頼性がなく、脆弱である。 マルチモーダル融合は高い信頼性を提供するが、特別なアーキテクチャが必要である。 本稿では,マルチスペクトル画像から深度を推定する手法として,アライメント・アンド・フューズ・ストラテジー(アライメント・アンド・フューズ・ストラテジー)を提案する。 調整段階において、多スペクトル帯域間の埋め込み空間を整列させて、幾何学的キューによる大域的特徴と空間的特徴の対比的損失を最小化することにより、多スペクトル画像間の共有可能な表現を学習する。 その後、ヒューズ段階では、安定かつ堅牢な予測結果を得るために、多スペクトル特徴を選択的に集約できる付加可能な特徴融合モジュールを訓練する。 提案手法に基づいて, 信頼性, メモリ効率, 柔軟性を保ちながら, スペクトル不変およびマルチスペクトル融合深度推定を両立させることができる。

関連論文リスト

• Optimizing Multispectral Object Detection: A Bag of Tricks and Comprehensive Benchmarks [49.84182981950623]
  RGBおよびTIR(熱赤外)変調を利用したマルチスペクトル物体検出は,課題として広く認識されている。 モダリティと堅牢な融合戦略の両方から特徴を効果的に抽出するだけでなく、スペクトルの相違といった問題に対処する能力も必要である。 本稿では,高パフォーマンス単一モードモデルのシームレスな最適化が可能な,効率的かつ容易にデプロイ可能なマルチスペクトルオブジェクト検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-27T12:18:39Z)
• Unveiling the Depths: A Multi-Modal Fusion Framework for Challenging Scenarios [103.72094710263656]
  本稿では,学習に基づくフレームワークを用いて,支配的モダリティの奥行きを識別し,統合する手法を提案する。 本稿では,信頼度予測ネットワークを操り,潜在電位深度領域を特定する信頼マップを作成する新しい信頼損失を提案する。 得られた信頼度マップを用いて,最終深度をエンドツーエンドに融合するマルチモーダル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-02-19T04:39:16Z)
• LCPR: A Multi-Scale Attention-Based LiDAR-Camera Fusion Network for Place Recognition [11.206532393178385]
  本稿では,マルチモーダル位置認識のための新しいニューラルネットワークLCPRを提案する。 位置認識性能を向上させるために,マルチビューカメラとLiDARデータを効果的に利用することができる。
  論文  参考訳（メタデータ） (2023-11-06T15:39:48Z)
• HiDAnet: RGB-D Salient Object Detection via Hierarchical Depth Awareness [2.341385717236931]
  本稿では,RGB-Dサリエンシ検出のための階層的深度認識ネットワーク(HiDAnet)を提案する。 我々のモチベーションは、幾何学的先行の多粒性特性がニューラルネットワーク階層とよく相関しているという観察から来ています。 当社のHiDAnetは最先端の手法よりも大きなマージンで良好に動作します。
  論文  参考訳（メタデータ） (2023-01-18T10:00:59Z)
• Weakly Aligned Feature Fusion for Multimodal Object Detection [52.15436349488198]
  マルチモーダルデータはしばしば位置ずれの問題に悩まされます。つまり、イメージペアは厳密に一致していません。 この問題により、マルチモーダルな特徴を融合させることが難しくなり、畳み込みニューラルネットワーク(CNN)のトレーニングが難解になる。 本稿では、位置ずれ問題に対処するために、アライメント領域CNN(AR-CNN)と呼ばれる汎用マルチモーダル検出器を提案する。
  論文  参考訳（メタデータ） (2022-04-21T02:35:23Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)
• Multimodal Object Detection via Bayesian Fusion [59.31437166291557]
  我々は、RGBとサーマルカメラでマルチモーダルオブジェクト検出を研究します。後者は照明不良下ではるかに強力なオブジェクトシグネチャを提供することができます。 我々の重要な貢献は、異なるモードのボックス検出を融合する非学習遅延融合法である。 このアプローチは、整列(KAIST)と非整列(FLIR)のマルチモーダルセンサーデータを含むベンチマークに適用されます。
  論文  参考訳（メタデータ） (2021-04-07T04:03:20Z)
• GEM: Glare or Gloom, I Can Still See You -- End-to-End Multimodal Object Detector [11.161639542268015]
  厳しい照明条件下での2次元物体検出のためのセンサ対応マルチモーダル融合戦略を提案する。 本ネットワークは,各センサモダリティの測定信頼性をスカラーウェイトとマスクの形で推定する。 提案手法はFLIR-Thermalデータセット上で既存の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-24T14:56:37Z)
• Learning Selective Sensor Fusion for States Estimation [47.76590539558037]
  本稿では,エンド・ツー・エンドのセンサ・フュージョン・モジュールであるSelectFusionを提案する。 予測中、ネットワークは異なるセンサーモードから潜伏する特徴の信頼性を評価することができる。 我々は、公開データセットと漸進的に劣化したデータセットの両方において、すべての融合戦略を広範囲に評価する。
  論文  参考訳（メタデータ） (2019-12-30T20:25:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。