論文の概要: SemStereo: Semantic-Constrained Stereo Matching Network for Remote Sensing
- arxiv url: http://arxiv.org/abs/2412.12685v1
- Date: Tue, 17 Dec 2024 09:02:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-18 13:58:42.733647
- Title: SemStereo: Semantic-Constrained Stereo Matching Network for Remote Sensing
- Title（参考訳）: SemStereo:リモートセンシングのためのセマンティック制約ステレオマッチングネットワーク
- Authors: Chen Chen, Liangjin Zhao, Yuanchun He, Yingxuan Long, Kaiqiang Chen, Zhirui Wang, Yanfeng Hu, Xian Sun,
- Abstract要約: 本稿では,ステレオマッチングタスクに対して,暗黙的かつ明示的に意味制約を課す新しいネットワークを提案する。
US3DデータセットとWHUデータセットを用いた実験により,本手法はセマンティックセグメンテーションとステレオマッチングの両面において最先端の性能を実現することを示した。
- 参考スコア（独自算出の注目度）: 12.710367390667292
- License:
- Abstract: Semantic segmentation and 3D reconstruction are two fundamental tasks in remote sensing, typically treated as separate or loosely coupled tasks. Despite attempts to integrate them into a unified network, the constraints between the two heterogeneous tasks are not explicitly modeled, since the pioneering studies either utilize a loosely coupled parallel structure or engage in only implicit interactions, failing to capture the inherent connections. In this work, we explore the connections between the two tasks and propose a new network that imposes semantic constraints on the stereo matching task, both implicitly and explicitly. Implicitly, we transform the traditional parallel structure to a new cascade structure termed Semantic-Guided Cascade structure, where the deep features enriched with semantic information are utilized for the computation of initial disparity maps, enhancing semantic guidance. Explicitly, we propose a Semantic Selective Refinement (SSR) module and a Left-Right Semantic Consistency (LRSC) module. The SSR refines the initial disparity map under the guidance of the semantic map. The LRSC ensures semantic consistency between two views via reducing the semantic divergence after transforming the semantic map from one view to the other using the disparity map. Experiments on the US3D and WHU datasets demonstrate that our method achieves state-of-the-art performance for both semantic segmentation and stereo matching.
- Abstract（参考訳）: セマンティックセグメンテーションと3D再構成はリモートセンシングにおける2つの基本的なタスクであり、通常は分離された、あるいは緩く結合されたタスクとして扱われる。
これらを統一ネットワークに統合しようとする試みにもかかわらず、2つの不均一なタスク間の制約は明示的にモデル化されていない。
本研究では,2つのタスク間の関係を探索し,ステレオマッチングタスクに意味的制約を課す新しいネットワークを提案する。
具体的には,従来の並列構造をセマンティックガイドカスケード構造(Semantic-Guided Cascade structure)と呼ばれる新しいカスケード構造に変換する。
本稿では,SSRモジュールとLRSCモジュールを提案する。
SSRは、セマンティックマップのガイダンスの下で、初期格差マップを洗練する。
LRSCは2つのビュー間のセマンティック一貫性を保証する。
US3DデータセットとWHUデータセットを用いた実験により,本手法はセマンティックセグメンテーションとステレオマッチングの両面において最先端の性能を実現することを示した。
関連論文リスト
- Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。
これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。
提案手法は他の最先端アルゴリズムに対して好適に機能する。
論文 参考訳（メタデータ） (2024-05-15T00:17:48Z) - Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised
Semantic Segmentation [79.05949524349005]
AuxSegNet+は、サリエンシマップから豊富な情報を探索する弱教師付き補助学習フレームワークである。
また,サリエンシとセグメンテーションの特徴マップから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。
論文 参考訳（メタデータ） (2024-03-02T10:03:21Z) - S$^3$M-Net: Joint Learning of Semantic Segmentation and Stereo Matching
for Autonomous Driving [40.305452898732774]
S$3$M-Netはセマンティックセグメンテーションとステレオマッチングを同時に行うために開発された新しい共同学習フレームワークである。
S$3$M-Netは、両方のタスク間でRGBイメージから抽出された特徴を共有し、全体的なシーン理解能力が改善された。
論文 参考訳（メタデータ） (2024-01-21T06:47:33Z) - S3Net: Innovating Stereo Matching and Semantic Segmentation with a Single-Branch Semantic Stereo Network in Satellite Epipolar Imagery [23.965291952048872]
この研究は、セマンティックセグメンテーションとステレオマッチングを革新的に組み合わせたS3Net(Single-branch Semantic Stereo Network)というソリューションを導入している。
提案手法は,これらの2つのタスク間の本質的なリンクを識別し,活用することにより,意味情報のより正確な理解と相違性推定を実現する。
本モデルでは,セマンティックセグメンテーションにおけるmIoUを61.38から67.39に改善し,D1エラーと平均終点誤差(EPE)をそれぞれ10.051から9.579,1.439から1.403に削減する。
論文 参考訳（メタデータ） (2024-01-03T09:37:33Z) - Semantic Connectivity-Driven Pseudo-labeling for Cross-domain
Segmentation [89.41179071022121]
自己学習はドメイン間セマンティックセグメンテーションにおいて一般的なアプローチである。
本稿ではセマンティック・コネクティビティ駆動の擬似ラベル方式を提案する。
このアプローチは、接続レベルにおいて擬似ラベルを定式化し、構造的および低雑音のセマンティクスの学習を容易にする。
論文 参考訳（メタデータ） (2023-12-11T12:29:51Z) - GP-NeRF: Generalized Perception NeRF for Context-Aware 3D Scene Understanding [101.32590239809113]
Generalized Perception NeRF (GP-NeRF) は、広く使われているセグメンテーションモデルとNeRFを統一されたフレームワークで相互に動作させる新しいパイプラインである。
本稿では,セマンティック蒸留損失(Semantic Distill Loss)とDepth-Guided Semantic Distill Loss(Depth-Guided Semantic Distill Loss)という2つの自己蒸留機構を提案する。
論文 参考訳（メタデータ） (2023-11-20T15:59:41Z) - Scale-Semantic Joint Decoupling Network for Image-text Retrieval in
Remote Sensing [23.598273691455503]
リモートセンシング画像テキスト検索のためのSJDN(Scale-Semantic Joint Decoupling Network)を提案する。
提案するSSJDNは,4つのベンチマークリモートセンシングデータセットを用いて行った数値実験において,最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2022-12-12T08:02:35Z) - HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning [74.76431541169342]
ゼロショット学習(ZSL)は、目に見えないクラス認識の問題に取り組み、目に見えないクラスから目に見えないクラスに意味的な知識を移す。
本稿では,意味領域と視覚領域を協調させる新しい階層型意味視覚適応(HSVA)フレームワークを提案する。
4つのベンチマークデータセットの実験では、HSVAは従来のZSLと一般的なZSLの両方で優れた性能を示す。
論文 参考訳（メタデータ） (2021-09-30T14:27:50Z) - Dual Attention GANs for Semantic Image Synthesis [101.36015877815537]
本稿では,写真リアリスティック・セマンティック・一貫性のあるイメージを合成するための新しいデュアルアテンションGAN(DAGAN)を提案する。
また,2つの新しいモジュール,すなわち位置対応空間アテンションモジュール(SAM)と規模対応チャネルアテンションモジュール(CAM)を提案する。
DAGANは、より少ないモデルパラメータを使用しながら、最先端のメソッドよりも驚くほど優れた結果が得られる。
論文 参考訳（メタデータ） (2020-08-29T17:49:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。