論文の概要: Inferring 3D change detection from bitemporal optical images
- arxiv url: http://arxiv.org/abs/2205.15903v1
- Date: Tue, 31 May 2022 15:53:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-01 16:32:53.804385
- Title: Inferring 3D change detection from bitemporal optical images
- Title（参考訳）: バイテンポラル光学画像からの3次元変化検出
- Authors: Valerio Marsocci, Virginia Coletta, Roberta Ravanelli, Simone
Scardapane, Mattia Crespi
- Abstract要約: 2次元と3次元のCDタスクを同時に解くことができる2つの新しいネットワークを提案する。
本研究の目的は,高度(3D)CDマップを自動的に推測できるDLアルゴリズムの開発基盤を構築することである。
コードと3DCDデータセットはurlhttps://sites.google.com/uniroma1.it/3dchangedetection/home-pageで公開されている。
- 参考スコア（独自算出の注目度）: 6.050310428775564
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Change detection is one of the most active research areas in Remote Sensing
(RS). Most of the recently developed change detection methods are based on deep
learning (DL) algorithms. This kind of algorithms is generally focused on
generating two-dimensional (2D) change maps, thus only identifying planimetric
changes in land use/land cover (LULC) and not considering nor returning any
information on the corresponding elevation changes. Our work goes one step
further, proposing two novel networks, able to solve simultaneously the 2D and
3D CD tasks, and the 3DCD dataset, a novel and freely available dataset
precisely designed for this multitask. Particularly, the aim of this work is to
lay the foundations for the development of DL algorithms able to automatically
infer an elevation (3D) CD map -- together with a standard 2D CD map --,
starting only from a pair of bitemporal optical images. The proposed
architectures, to perform the task described before, consist of a
transformer-based network, the MultiTask Bitemporal Images Transformer (MTBIT),
and a deep convolutional network, the Siamese ResUNet (SUNet). Particularly,
MTBIT is a transformer-based architecture, based on a semantic tokenizer. SUNet
instead combines, in a siamese encoder, skip connections and residual layers to
learn rich features, capable to solve efficiently the proposed task. These
models are, thus, able to obtain 3D CD maps from two optical images taken at
different time instants, without the need to rely directly on elevation data
during the inference step. Encouraging results, obtained on the novel 3DCD
dataset, are shown. The code and the 3DCD dataset are available at
\url{https://sites.google.com/uniroma1.it/3dchangedetection/home-page}.
- Abstract（参考訳）: 変更検出はリモートセンシング(RS)において最も活発な研究分野の一つである。
最近開発された変更検出手法のほとんどは、ディープラーニング(DL)アルゴリズムに基づいている。
この種のアルゴリズムは一般的に2次元 (2D) の変化マップの生成に重点を置いているため、土地利用/土地被覆 (LULC) の平面的変化のみを識別し、対応する高度変化に関する情報を考慮も返却もしない。
私たちの研究はさらに一歩進んで、2Dと3DのCDタスクを同時に解決できる2つの新しいネットワークと、3DCDデータセットを提案しています。
特に、この研究の目的は、高度(3D)のCDマップと標準の2DのCDマップを自動的に推論できるDLアルゴリズムの開発の基礎を、バイテンポラルな光学画像から始めることにある。
提案したアーキテクチャは、前述したタスクを実行するために、トランスフォーマーベースのネットワーク、MTBIT(MultiTask Bitemporal Images Transformer)、深層畳み込みネットワークであるSamese ResUNet(SUNet)で構成されている。
特にmtbitは、セマンティックトークンライザに基づいたトランスフォーマティブベースのアーキテクチャである。
SUNetは、シアムエンコーダで接続と残層をスキップしてリッチな特徴を学習し、提案されたタスクを効率的に解決する。
これらのモデルは、推定ステップ中に直接標高データに依存することなく、異なるタイミングで撮影された2つの光学画像から3D CDマップを得ることができる。
新たな3DCDデータセットで得られたエンコーリング結果を示す。
コードと3dcdデータセットは \url{https://sites.google.com/uniroma1.it/3dchangedetection/home-page} で利用可能である。
関連論文リスト
- 3DGS-CD: 3D Gaussian Splatting-based Change Detection for Physical Object Rearrangement [2.2122801766964795]
3DGS-CDは3Dシーンにおける物体の物理的配置を検出する最初の3Dガウス散乱(3DGS)に基づく手法である。
提案手法では,異なる時間に撮影された2つの不整合画像を比較して3次元オブジェクトレベルの変化を推定する。
本手法は,18秒以内のスパース・ポスト・チェンジ画像を用いて,1枚の新しい画像のみを用いて,散在する環境の変化を検出できる。
論文 参考訳（メタデータ） (2024-11-06T07:08:41Z) - ImOV3D: Learning Open-Vocabulary Point Clouds 3D Object Detection from Only 2D Images [19.02348585677397]
Open-vocabulary 3D object Detection (OV-3Det) は、トレーニングフェーズ中にラベル付けされたベースカテゴリの限られた数を超えて一般化することを目的としている。
最大のボトルネックは、注釈付き3Dデータの不足であるのに対して、2D画像データセットは豊富で豊富な注釈付きである。
画像と点雲(PC)の両方を含む擬似マルチモーダル表現を利用してモダリティギャップを埋める新しいフレームワークImOV3Dを提案する。
論文 参考訳（メタデータ） (2024-10-31T15:02:05Z) - 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。
拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。
さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
論文 参考訳（メタデータ） (2023-11-07T23:46:41Z) - Spatiotemporal Modeling Encounters 3D Medical Image Analysis:
Slice-Shift UNet with Multi-View Fusion [0.0]
本稿では,2次元CNNにおける3次元特徴をエンコードする2次元モデルSlice SHift UNetを提案する。
より正確にマルチビュー機能は、ボリュームの3次元平面に沿って2次元の畳み込みを実行することで協調的に学習される。
提案手法の有効性は,多モード腹部多臓器軸 (AMOS) と Cranial Vault (BTCV) データセットを越えたマルチアトラスラベリング (Multi-Atlas Labeling Beyond the Cranial Vault) で検証した。
論文 参考訳（メタデータ） (2023-07-24T14:53:23Z) - SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and
Quasi-Planar Segmentation [53.83313235792596]
本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。
2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。
本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
論文 参考訳（メタデータ） (2023-06-28T22:36:44Z) - Unleash the Potential of Image Branch for Cross-modal 3D Object
Detection [67.94357336206136]
画像分岐のポテンシャルを2つの側面から解き放つことを目的として,新しい3Dオブジェクト検出器UPIDetを提案する。
まず、UPIDetは正規化された局所座標写像推定と呼ばれる新しい2次元補助タスクを導入する。
第2に,イメージブランチのトレーニング目標から逆転する勾配によって,ポイントクラウドバックボーンの表現能力を向上できることを見出した。
論文 参考訳（メタデータ） (2023-01-22T08:26:58Z) - Bridged Transformer for Vision and Point Cloud 3D Object Detection [92.86856146086316]
Bridged Transformer (BrT) は、3Dオブジェクト検出のためのエンドツーエンドアーキテクチャである。
BrTは3Dオブジェクトと2Dオブジェクトのバウンディングボックスを、ポイントとイメージパッチの両方から識別する。
BrTがSUN RGB-DおよびScanNetV2データセットの最先端手法を上回ることを示す。
論文 参考訳（メタデータ） (2022-10-04T05:44:22Z) - Cross-Modality 3D Object Detection [63.29935886648709]
本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。
アーキテクチャ全体が2段階の融合を促進する。
KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
論文 参考訳（メタデータ） (2020-08-16T11:01:20Z) - End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection [62.34374949726333]
擬似LiDAR(PL)は、LiDARセンサに基づく手法と安価なステレオカメラに基づく手法の精度ギャップを劇的に減らした。
PLは最先端のディープニューラルネットワークと2D深度マップ出力を3Dポイントクラウド入力に変換することで3Dオブジェクト検出のための3D深度推定を組み合わせている。
我々は、PLパイプライン全体をエンドツーエンドにトレーニングできるように、差別化可能なRepresentation (CoR)モジュールに基づく新しいフレームワークを導入します。
論文 参考訳（メタデータ） (2020-04-07T02:18:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。