論文の概要: Fine-tuning deep learning models for stereo matching using results from
semi-global matching
- arxiv url: http://arxiv.org/abs/2205.14051v1
- Date: Fri, 27 May 2022 15:38:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-30 14:55:00.528386
- Title: Fine-tuning deep learning models for stereo matching using results from
semi-global matching
- Title（参考訳）: 半グローバルマッチング結果を用いたステレオマッチングのための微調整型ディープラーニングモデル
- Authors: Hessah Albanwan, Rongjun Qin
- Abstract要約: ディープラーニング (DL) 法は, 高い精度が報告されているステレオ画像マッチングタスクに対して広く研究されている。
衛星画像は、場所、内容、土地被覆、空間パターンにばらつきのある大規模領域をカバーしており、その性能に影響を及ぼすことを期待している。
本研究では,対象ステレオデータ上でのSGM(Census-based semi-global-matching)から得られる不均一性マップを利用した微調整手法を提案する。
- 参考スコア（独自算出の注目度）: 1.0152838128195467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning (DL) methods are widely investigated for stereo image matching
tasks due to their reported high accuracies. However, their
transferability/generalization capabilities are limited by the instances seen
in the training data. With satellite images covering large-scale areas with
variances in locations, content, land covers, and spatial patterns, we expect
their performances to be impacted. Increasing the number and diversity of
training data is always an option, but with the ground-truth disparity being
limited in remote sensing due to its high cost, it is almost impossible to
obtain the ground-truth for all locations. Knowing that classical stereo
matching methods such as Census-based semi-global-matching (SGM) are widely
adopted to process different types of stereo data, we therefore, propose a
finetuning method that takes advantage of disparity maps derived from SGM on
target stereo data. Our proposed method adopts a simple scheme that uses the
energy map derived from the SGM algorithm to select high confidence disparity
measurements, at the same utilizing the images to limit these selected
disparity measurements on texture-rich regions. Our approach aims to
investigate the possibility of improving the transferability of current DL
methods to unseen target data without having their ground truth as a
requirement. To perform a comprehensive study, we select 20 study-sites around
the world to cover a variety of complexities and densities. We choose
well-established DL methods like geometric and context network (GCNet), pyramid
stereo matching network (PSMNet), and LEAStereo for evaluation. Our results
indicate an improvement in the transferability of the DL methods across
different regions visually and numerically.
- Abstract（参考訳）: ディープラーニング (DL) 法は, 高い精度でステレオ画像マッチングを行うために広く研究されている。
しかしながら、その転送性/一般化能力は、トレーニングデータで見られるインスタンスによって制限される。
衛星画像では, 場所, 内容, 土地被覆, 空間パターンにばらつきがあるため, 性能への影響が期待できる。
トレーニングデータの数と多様性の増大は、常にオプションであるが、高コストでリモートセンシングにおいて、地道差が制限されているため、すべての場所において地道を求めることはほぼ不可能である。
そこで,様々な種類のステレオデータを処理するために,センサスベースセミグローバルマッチング(sgm)のような古典的なステレオマッチング手法が広く採用されていることを認識し,対象ステレオデータに対してsgmから導出される不一致マップを利用する微調整手法を提案する。
提案手法では,sgm法から導出したエネルギーマップを用いて高信頼不均等度測定を選択できるとともに,これらの選択された不均等度測定をテクスチャに富む領域で制限する。
本研究の目的は,既存のDL手法の転送可能性の向上を,基本的真理を必要とせず,対象データを見落とせる可能性を検討することである。
包括的な研究を行うため、世界中の20の研究現場を選択し、様々な複雑さと密度をカバーした。
我々は,gemetry and context network (gcnet), pyramid stereo matching network (psmnet), leastereoなどの確立されたdl手法を評価のために選択した。
以上の結果から,DL手法の視覚的および数値的変換性の向上が示唆された。
関連論文リスト
- An evaluation of Deep Learning based stereo dense matching dataset shift
from aerial images and a large scale stereo dataset [2.048226951354646]
そこで本研究では,光検出・ランドング(LiDAR)と画像から直接地中不均質マップを生成する手法を提案する。
多様なシーンタイプ、画像解像度、幾何学的構成を持つデータセット間の11の密マッチング手法を評価した。
論文 参考訳（メタデータ） (2024-02-19T20:33:46Z) - A Comparative Study on Deep-Learning Methods for Dense Image Matching of
Multi-angle and Multi-date Remote Sensing Stereo Images [1.0152838128195467]
本稿では,数百のマルチサイト衛星ステレオペアによる4つのディープラーニング(DL)ステレオマッチング手法の評価を行う。
実験の結果、E2Eアルゴリズムは幾何精度の上限を達成できるが、見当たらないデータに対してはうまく一般化できないことが示された。
全てのDLアルゴリズムはステレオペアの幾何学的構成に対して堅牢であり、Census-SGMと比較して感度が低い。
論文 参考訳（メタデータ） (2022-10-25T14:10:04Z) - Evaluating the Label Efficiency of Contrastive Self-Supervised Learning
for Multi-Resolution Satellite Imagery [0.0]
遠隔センシング領域における自己教師付き学習は、容易に利用可能なラベル付きデータを活用するために応用されている。
本稿では,ラベル効率のレンズを用いた自己教師型視覚表現学習について検討する。
論文 参考訳（メタデータ） (2022-10-13T06:54:13Z) - Spatial Likelihood Voting with Self-Knowledge Distillation for Weakly
Supervised Object Detection [54.24966006457756]
自己知識蒸留ネットワーク(SLV-SDネット)を用いたWSODフレームワークを提案する。
SLV-SD Netは、境界ボックスアノテーションなしで領域提案のローカライゼーションを収束させる。
PASCAL VOC 2007/2012およびMS-COCOデータセットの実験は、SLV-SD Netの優れた性能を示している。
論文 参考訳（メタデータ） (2022-04-14T11:56:19Z) - Towards Scale Consistent Monocular Visual Odometry by Learning from the
Virtual World [83.36195426897768]
仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。
まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。
結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
論文 参考訳（メタデータ） (2022-03-11T01:51:54Z) - Aerial Images Meet Crowdsourced Trajectories: A New Approach to Robust
Road Extraction [110.61383502442598]
我々は、Cross-Modal Message Propagation Network (CMMPNet)と呼ばれる新しいニューラルネットワークフレームワークを紹介する。
CMMPNetは、モダリティ固有の表現学習のための2つのディープオートエンコーダと、クロスモーダル表現洗練のためのテーラー設計のデュアルエンハンスメントモジュールで構成されている。
実世界の3つのベンチマーク実験により, CMMPNetによる堅牢な道路抽出の有効性が示された。
論文 参考訳（メタデータ） (2021-11-30T04:30:10Z) - Semi-Supervised Wide-Angle Portraits Correction by Multi-Scale
Transformer [17.455782652441187]
広角画像補正のための半教師付きネットワークを提案する。
我々のネットワークはMulti-Scale Swin-Unet(MS-Unet)と呼ばれ、MSTB(Multi-scale Swin-Unet)上に構築されている。
論文 参考訳（メタデータ） (2021-09-14T09:40:25Z) - SMD-Nets: Stereo Mixture Density Networks [68.56947049719936]
SMD-Nets(Stereo Mixture Density Networks)は、幅広い2Dおよび3Dアーキテクチャに対応したシンプルで効果的な学習フレームワークです。
具体的には,バイモーダル混合密度を出力表現として活用し,不連続近傍の鋭く正確な不一致推定を可能にすることを示す。
我々は8Mpx解像度のステレオペアと現実世界のステレオデータセットからなる、新しい高解像度でリアルな合成ステレオデータセットに関する包括的な実験を行う。
論文 参考訳（メタデータ） (2021-04-08T16:15:46Z) - Improving Deep Stereo Network Generalization with Geometric Priors [93.09496073476275]
地上の真実が密集した多様な現実世界のシーンの大規模なデータセットを得ることは困難である。
多くのアルゴリズムは、似たようなシーンや合成データセットの小さな実世界のデータセットに依存している。
本稿では,シーン幾何学の事前知識をエンド・ツー・エンドのステレオネットワークに統合し,ネットワークの一般化を支援することを提案する。
論文 参考訳（メタデータ） (2020-08-25T15:24:02Z) - X-ModalNet: A Semi-Supervised Deep Cross-Modal Network for
Classification of Remote Sensing Data [69.37597254841052]
我々はX-ModalNetと呼ばれる新しいクロスモーダルディープラーニングフレームワークを提案する。
X-ModalNetは、ネットワークの上部にある高レベルな特徴によって構築されたアップダスタブルグラフ上にラベルを伝搬するため、うまく一般化する。
我々は2つのマルチモーダルリモートセンシングデータセット(HSI-MSIとHSI-SAR)上でX-ModalNetを評価し、いくつかの最先端手法と比較して大幅に改善した。
論文 参考訳（メタデータ） (2020-06-24T15:29:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。