論文の概要: Sparse Multi-baseline SAR Cross-modal 3D Reconstruction of Vehicle Targets

• arxiv url: http://arxiv.org/abs/2406.04158v2
• Date: Thu, 8 Aug 2024 07:51:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 19:57:18.347138
• Title: Sparse Multi-baseline SAR Cross-modal 3D Reconstruction of Vehicle Targets
• Title（参考訳）: 車両目標のスパースマルチベースラインSARクロスモーダル3次元再構成
• Authors: Da Li, Guoqiang Zhao, Houjun Sun, Jiacheng Bao,
• Abstract要約: 本稿では,光学画像と異種レンダリングとクロスモーダル監視を統合したクロスモーダル再構成ネットワーク(CMR-Net)を提案する。 シミュレーションデータのみに基づいてトレーニングされたCMR-Netは、公開可能なシミュレーションデータセットと実測データセットの両方で、高解像度の再構築機能を示す。
• 参考スコア（独自算出の注目度）: 5.6680936716261705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-baseline SAR 3D imaging faces significant challenges due to data sparsity. In recent years, deep learning techniques have achieved notable success in enhancing the quality of sparse SAR 3D imaging. However, previous work typically rely on full-aperture high-resolution radar images to supervise the training of deep neural networks (DNNs), utilizing only single-modal information from radar data. Consequently, imaging performance is limited, and acquiring full-aperture data for multi-baseline SAR is costly and sometimes impractical in real-world applications. In this paper, we propose a Cross-Modal Reconstruction Network (CMR-Net), which integrates differentiable render and cross-modal supervision with optical images to reconstruct highly sparse multi-baseline SAR 3D images of vehicle targets into visually structured and high-resolution images. We meticulously designed the network architecture and training strategies to enhance network generalization capability. Remarkably, CMR-Net, trained solely on simulated data, demonstrates high-resolution reconstruction capabilities on both publicly available simulation datasets and real measured datasets, outperforming traditional sparse reconstruction algorithms based on compressed sensing and other learning-based methods. Additionally, using optical images as supervision provides a cost-effective way to build training datasets, reducing the difficulty of method dissemination. Our work showcases the broad prospects of deep learning in multi-baseline SAR 3D imaging and offers a novel path for researching radar imaging based on cross-modal learning theory.
• Abstract（参考訳）: マルチベースラインのSAR 3Dイメージングは、データの分散によって大きな課題に直面している。 近年、深層学習技術はスパースSAR3D画像の品質向上に顕著な成功を収めている。 しかしながら、従来の研究は通常、ディープニューラルネットワーク(DNN)のトレーニングを監督するために、完全な高解像度レーダイメージに依存しており、レーダデータからの単一モーダル情報のみを利用している。 その結果、撮像性能は制限され、マルチベースラインSARのフルアパーチャデータを取得することは、現実のアプリケーションではコストがかかり、時には実用的ではない。 本稿では,多基線SAR 3D画像の視覚的構造と高解像度化を両立させるために,異なるレンダリングとクロスモーダルを光学画像と統合したクロスモーダル再構成ネットワーク(CMR-Net)を提案する。 我々は,ネットワークの一般化能力を高めるため,ネットワークアーキテクチャとトレーニング戦略を慎重に設計した。 注目すべきは、シミュレーションデータのみに基づいてトレーニングされたCMR-Netは、公開可能なシミュレーションデータセットと実測データセットの両方で高解像度の再構成機能を示し、圧縮センシングやその他の学習ベースの手法に基づく従来のスパース再構成アルゴリズムよりも優れていることだ。 さらに、光学イメージを監視として使用すると、トレーニングデータセットを構築するためのコスト効率が向上し、メソッドの普及の困難さが軽減される。 本研究は,マルチベースラインSAR 3Dイメージングにおける深層学習の可能性を示すとともに,クロスモーダル学習理論に基づくレーダイメージング研究の新たな道筋を提供する。

関連論文リスト

• Multi-Resolution SAR and Optical Remote Sensing Image Registration Methods: A Review, Datasets, and Future Perspectives [13.749888089968373]
  リモートセンシングデータ融合には合成開口レーダ(SAR)と光画像登録が不可欠である。 画像の解像度が向上するにつれて、微細なSARテクスチャがより重要になり、アライメントの問題と3次元空間の相違が生じる。 MultiResSARデータセットは10万組以上のマルチソース、マルチ解像度、マルチシーンSARおよび光学画像を含む。
  論文  参考訳（メタデータ） (2025-02-03T02:51:30Z)
• LargeAD: Large-Scale Cross-Sensor Data Pretraining for Autonomous Driving [52.83707400688378]
  LargeADは多用途でスケーラブルなフレームワークで、さまざまな現実世界の運転データセットにわたる大規模3D事前トレーニング用に設計されている。 我々のフレームワークは、VFMを利用して2次元画像から意味的にリッチなスーパーピクセルを抽出し、LiDAR点雲に整列して高品質なコントラストサンプルを生成する。 提案手法は,LDARに基づくセグメント化とオブジェクト検出の両面において,線形探索と微調整の両作業において,最先端の手法よりも大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2025-01-07T18:59:59Z)
• Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization [56.95046107046027]
  我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。 レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
  論文  参考訳（メタデータ） (2023-10-10T20:11:13Z)
• Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
  本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。 既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-08-21T10:38:32Z)
• DH-GAN: A Physics-driven Untrained Generative Adversarial Network for 3D Microscopic Imaging using Digital Holography [3.4635026053111484]
  デジタルホログラフィー(Digital holography)は、平面波面を持つレーザービームを物体に放出し、ホログラムと呼ばれる回折波形の強度を測定する3Dイメージング技術である。 近年,より正確なホログラフィック処理に深層学習(DL)法が用いられている。 本稿では, 識別ネットワークを用いて, 復元品質のセマンティック尺度を実現する, 生成的敵ネットワークに基づく新しいDLアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:13:45Z)
• Deep-Learning-Based Single-Image Height Reconstruction from Very-High-Resolution SAR Intensity Data [1.7894377200944511]
  本稿では,リモートセンシングにおける他の重要なセンサモードである合成開口レーダ(SAR)データに対する,深層学習に基づく単一画像の高さ予測の初めての実演を示す。 SAR強度画像に対する畳み込みニューラルネットワーク(CNN)アーキテクチャの適用に加えて、トレーニングデータ生成のためのワークフローを提案する。 転送可能性に特に重点を置いているので、深層学習に基づく単一画像の高さ推定が可能であるだけでなく、目に見えないデータにかなりうまく転送可能であることを確認できます。
  論文  参考訳（メタデータ） (2021-11-03T08:20:03Z)
• Stereo Matching by Self-supervision of Multiscopic Vision [65.38359887232025]
  カメラ位置の整列で撮影した複数の画像を利用したステレオマッチングのための新しい自己監視フレームワークを提案する。 ネットワークを最適化するために、クロスフォトメトリックロス、不確実性を認識した相互監督損失、および新しい平滑性損失が導入されます。 我々のモデルは、KITTIデータセット上の以前の教師なし手法よりも、より良い不均一性マップを得る。
  論文  参考訳（メタデータ） (2021-04-09T02:58:59Z)
• Compressive spectral image classification using 3D coded convolutional neural network [12.67293744927537]
  本稿では、符号化開口スナップショット分光画像(CASSI)の測定に基づく新しい深層学習HIC手法を提案する。 3次元符号化畳み込みニューラルネットワーク(3D-CCNN)と呼ばれる新しいタイプのディープラーニング戦略を提案し,その分類問題を効率的に解く。 ディープラーニングネットワークと符号化開口部の相乗効果を利用して、分類精度を効果的に向上する。
  論文  参考訳（メタデータ） (2020-09-23T15:05:57Z)
• X-ModalNet: A Semi-Supervised Deep Cross-Modal Network for Classification of Remote Sensing Data [69.37597254841052]
  我々はX-ModalNetと呼ばれる新しいクロスモーダルディープラーニングフレームワークを提案する。 X-ModalNetは、ネットワークの上部にある高レベルな特徴によって構築されたアップダスタブルグラフ上にラベルを伝搬するため、うまく一般化する。 我々は2つのマルチモーダルリモートセンシングデータセット(HSI-MSIとHSI-SAR)上でX-ModalNetを評価し、いくつかの最先端手法と比較して大幅に改善した。
  論文  参考訳（メタデータ） (2020-06-24T15:29:41Z)
• A Novel Recurrent Encoder-Decoder Structure for Large-Scale Multi-view Stereo Reconstruction from An Open Aerial Dataset [6.319667056655425]
  我々は、WHUデータセットと呼ばれる合成空中データセットを提案し、これが最初の大規模多視点空中データセットである。 広帯域深度推定のための新しいネットワークRED-Netについても紹介する。 実験の結果,提案手法は現在のMVS法を50%以上の平均絶対誤差(MAE)で上回り,メモリと計算コストを削減できた。
  論文  参考訳（メタデータ） (2020-03-02T03:04:13Z)
• Spatial-Spectral Residual Network for Hyperspectral Image Super-Resolution [82.1739023587565]
  ハイパースペクトル画像超解像のための新しいスペクトル空間残差ネットワーク(SSRNet)を提案する。 提案手法は,2次元畳み込みではなく3次元畳み込みを用いて空間スペクトル情報の探索を効果的に行うことができる。 各ユニットでは空間的・時間的分離可能な3次元畳み込みを用いて空間的・スペクトル的な情報を抽出する。
  論文  参考訳（メタデータ） (2020-01-14T03:34:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。