論文の概要: Stereo Superpixel Segmentation Via Decoupled Dynamic Spatial-Embedding
Fusion Network
- arxiv url: http://arxiv.org/abs/2208.08145v1
- Date: Wed, 17 Aug 2022 08:22:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-18 13:05:55.186447
- Title: Stereo Superpixel Segmentation Via Decoupled Dynamic Spatial-Embedding
Fusion Network
- Title(参考訳): decoupled dynamic spatial-embedding fusion networkによるステレオスーパーピクセルセグメンテーション
- Authors: Hua Li and Junyan Liang and Ruiqi Wu and Runmin Cong and Junhui Wu and
Sam Tak Wu Kwong
- Abstract要約: 本研究では,空間情報のデカップリング機構を備えたステレオスーパーピクセルセグメンテーション法を提案する。
立体差分情報と空間情報を分離するために、ステレオ画像対の特徴を融合する前に空間情報を一時的に除去する。
提案手法は,KITTI2015およびCityscapesデータセットの最先端性能を実現するとともに,NJU2Kデータセットの有能なオブジェクト検出に適用した場合の効率性を検証する。
- 参考スコア(独自算出の注目度): 17.05076034398913
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Stereo superpixel segmentation aims at grouping the discretizing pixels into
perceptual regions through left and right views more collaboratively and
efficiently. Existing superpixel segmentation algorithms mostly utilize color
and spatial features as input, which may impose strong constraints on spatial
information while utilizing the disparity information in terms of stereo image
pairs. To alleviate this issue, we propose a stereo superpixel segmentation
method with a decoupling mechanism of spatial information in this work. To
decouple stereo disparity information and spatial information, the spatial
information is temporarily removed before fusing the features of stereo image
pairs, and a decoupled stereo fusion module (DSFM) is proposed to handle the
stereo features alignment as well as occlusion problems. Moreover, since the
spatial information is vital to superpixel segmentation, we further design a
dynamic spatiality embedding module (DSEM) to re-add spatial information, and
the weights of spatial information will be adaptively adjusted through the
dynamic fusion (DF) mechanism in DSEM for achieving a finer segmentation.
Comprehensive experimental results demonstrate that our method can achieve the
state-of-the-art performance on the KITTI2015 and Cityscapes datasets, and also
verify the efficiency when applied in salient object detection on NJU2K
dataset. The source code will be available publicly after paper is accepted.
- Abstract(参考訳): ステレオスーパーピクセルセグメンテーションは、識別画素を左右のビューを通してより協調的かつ効率的に知覚領域にグループ化することを目的としている。
既存のスーパーピクセルセグメンテーションアルゴリズムは、主に色と空間の特徴を入力として利用し、ステレオ画像対の差分情報を利用して空間情報に強い制約を与える。
そこで本研究では,空間情報の分離機構を備えたステレオ超画素分割手法を提案する。
立体差分情報と空間情報を分離するために、ステレオ画像対の特徴を融合する前に空間情報を一時的に除去し、ステレオ特徴のアライメントや閉塞問題に対処するために、分離されたステレオ融合モジュール(DSFM)を提案する。
さらに,空間情報がスーパーピクセルセグメンテーションに欠かせないため,空間情報を再付加するための動的空間性埋め込みモジュール(DSEM)を設計し,より微細なセグメンテーションを実現するためのDSEMの動的融合(DF)機構によって空間情報の重みを適応的に調整する。
包括的実験により,本手法はkitti2015およびcityscapesデータセットの最先端性能を達成し,nju2kデータセットのsalient object detectionに適用した場合の効率性を検証することができた。
ソースコードはpaperが受け入れられた後に公開される予定だ。
関連論文リスト
- Remote Sensing Image Segmentation Using Vision Mamba and Multi-Scale Multi-Frequency Feature Fusion [9.098711843118629]
本稿では、状態空間モデル(SSM)を導入し、視覚マンバ(CVMH-UNet)に基づく新しいハイブリッドセマンティックセマンティックネットワークを提案する。
本手法は、クロス2Dスキャン(CS2D)を用いて、複数の方向からグローバル情報をフルにキャプチャする、クロス走査型視覚状態空間ブロック(CVSSBlock)を設計する。
ローカル情報取得におけるビジョン・マンバ(VMamba)の制約を克服するために畳み込みニューラルネットワークのブランチを組み込むことにより、このアプローチはグローバル機能とローカル機能の両方の包括的な分析を促進する。
論文 参考訳(メタデータ) (2024-10-08T02:17:38Z) - Learning Accurate and Enriched Features for Stereo Image Super-Resolution [0.0]
ステレオ画像超解像(ステレオSR)は、代替的な視点から補完情報を組み込むことで、超解像の質を高めることを目的としている。
我々は,空間的詳細を正確に保存し,豊富なコンテキスト情報を組み込むため,MSSFNet(Mixed-scale selective fusion Network)を提案する。
MSSFNetは、定量評価と定性評価の両方において最先端のアプローチよりも大幅に改善されている。
論文 参考訳(メタデータ) (2024-06-23T03:34:17Z) - Low-light Stereo Image Enhancement and De-noising in the Low-frequency
Information Enhanced Image Space [5.1569866461097185]
同時に高音化・低音化を行う手法が提案されている。
低周波情報拡張モジュール (IEM) は雑音を抑え, 新たな画像空間を創出するために提案される。
長距離空間依存を符号化するために,チャネル間および空間コンテキスト情報マイニングモジュール(CSM)を提案する。
エンコーダ-デコーダ構造が構築され、クロスビューとクロススケールな特徴相互作用が組み込まれている。
論文 参考訳(メタデータ) (2024-01-15T15:03:32Z) - SpACNN-LDVAE: Spatial Attention Convolutional Latent Dirichlet Variational Autoencoder for Hyperspectral Pixel Unmixing [1.8024397171920885]
この研究は、局所空間コンテキストを考慮したLDVAE (Latent Dirichlet Variational Autoencoder) ピクセルアンミックス方式を拡張した。
提案手法は,等方性畳み込みニューラルネットワークを用いて,エンドメンバー上のディリクレ分布として画素を符号化する。
論文 参考訳(メタデータ) (2023-11-17T18:45:00Z) - Object Detection in Hyperspectral Image via Unified Spectral-Spatial
Feature Aggregation [55.9217962930169]
S2ADetは、高スペクトル画像に固有の豊富なスペクトル情報と空間補完情報を利用する物体検出器である。
S2ADetは既存の最先端メソッドを超え、堅牢で信頼性の高い結果を達成する。
論文 参考訳(メタデータ) (2023-06-14T09:01:50Z) - Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。
既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。
本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
論文 参考訳(メタデータ) (2023-05-29T15:03:23Z) - SAWU-Net: Spatial Attention Weighted Unmixing Network for Hyperspectral
Images [91.20864037082863]
本稿では,空間的注意ネットワークと重み付き未混合ネットワークをエンドツーエンドに学習する,SAWU-Netと呼ばれる空間的注意重み付き未混合ネットワークを提案する。
特に,画素アテンションブロックとウィンドウアテンションブロックからなる空間アテンションモジュールを設計し,画素ベースのスペクトル情報とパッチベースの空間情報を効率的にモデル化する。
実データと合成データの実験結果から,SAWU-Netの精度と優位性が示された。
論文 参考訳(メタデータ) (2023-04-22T05:22:50Z) - Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image
Super-Resolution with Subpixel Fusion [67.35540259040806]
サブピクセルレベルのHS超解像フレームワークを提案する。
名前が示すように、DC-Netはまず入力を共通(またはクロスセンサー)とセンサー固有のコンポーネントに分離する。
我々は,CSUネットの裏側に自己教師付き学習モジュールを付加し,素材の整合性を保証し,復元されたHS製品の詳細な外観を向上する。
論文 参考訳(メタデータ) (2022-05-07T23:40:36Z) - Superpixel Segmentation Based on Spatially Constrained Subspace
Clustering [57.76302397774641]
独立意味情報を持つ各代表領域を部分空間とみなし,部分空間クラスタリング問題としてスーパーピクセルセグメンテーションを定式化する。
従来のサブスペースクラスタリングとスーパーピクセルセグメンテーションの簡単な統合は,画素の空間相関のために効果的に機能しないことを示す。
本稿では,空間隣接画素に類似の属性を付加してスーパーピクセルにクラスタリング可能な,凸局所性制約付きサブスペースクラスタリングモデルを提案する。
論文 参考訳(メタデータ) (2020-12-11T06:18:36Z) - Spatial Information Guided Convolution for Real-Time RGBD Semantic
Segmentation [79.78416804260668]
本稿では,効率的なRGB機能と3次元空間情報統合を実現するための空間情報ガイドコンボリューション(S-Conv)を提案する。
S-Convは、3次元空間情報によって導かれる畳み込みカーネルのサンプリングオフセットを推測する能力を有する。
我々はさらにS-Convを空間情報ガイド畳み込みネットワーク(SGNet)と呼ばれるセグメンテーションネットワークに組み込みます。
論文 参考訳(メタデータ) (2020-04-09T13:38:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。