論文の概要: AlignSeg: Feature-Aligned Segmentation Networks
- arxiv url: http://arxiv.org/abs/2003.00872v2
- Date: Tue, 2 Mar 2021 04:34:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 04:31:58.186559
- Title: AlignSeg: Feature-Aligned Segmentation Networks
- Title（参考訳）: AlignSeg: 機能指向セグメンテーションネットワーク
- Authors: Zilong Huang and Yunchao Wei and Xinggang Wang and Wenyu Liu and
Thomas S. Huang and Humphrey Shi
- Abstract要約: 本稿では,機能集約プロセスにおける誤アライメント問題に対処するために,特徴適応型ネットワーク(AlignSeg)を提案する。
我々のネットワークは、それぞれ82.6%と45.95%という新しい最先端のmIoUスコアを達成している。
- 参考スコア（独自算出の注目度）: 109.94809725745499
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Aggregating features in terms of different convolutional blocks or contextual
embeddings has been proven to be an effective way to strengthen feature
representations for semantic segmentation. However, most of the current popular
network architectures tend to ignore the misalignment issues during the feature
aggregation process caused by 1) step-by-step downsampling operations, and 2)
indiscriminate contextual information fusion. In this paper, we explore the
principles in addressing such feature misalignment issues and inventively
propose Feature-Aligned Segmentation Networks (AlignSeg). AlignSeg consists of
two primary modules, i.e., the Aligned Feature Aggregation (AlignFA) module and
the Aligned Context Modeling (AlignCM) module. First, AlignFA adopts a simple
learnable interpolation strategy to learn transformation offsets of pixels,
which can effectively relieve the feature misalignment issue caused by
multiresolution feature aggregation. Second, with the contextual embeddings in
hand, AlignCM enables each pixel to choose private custom contextual
information in an adaptive manner, making the contextual embeddings aligned
better to provide appropriate guidance. We validate the effectiveness of our
AlignSeg network with extensive experiments on Cityscapes and ADE20K, achieving
new state-of-the-art mIoU scores of 82.6% and 45.95%, respectively. Our source
code will be made available.
- Abstract（参考訳）: 異なる畳み込みブロックやコンテキスト埋め込みの観点から特徴を集約することは、セマンティックセグメンテーションのための機能表現を強化する効果的な方法であることが証明されている。
しかし、現在の一般的なネットワークアーキテクチャのほとんどは、機能集約プロセス中に生じる誤用を無視する傾向がある。
1)ステップバイステップのダウンサンプリング操作、及び
2) 文脈情報融合の無差別化。
本稿では,このような問題に対処する上での原理を考察し,機能整合セグメンテーションネットワーク(alignseg)を考案的に提案する。
AlignSegは2つの主要なモジュール、すなわちAligned Feature Aggregation (AlignFA)モジュールとAligned Context Modeling (AlignCM)モジュールで構成されている。
第一に、AlignFAは、単純な学習可能な補間戦略を採用して、画素の変換オフセットを学習し、マルチレゾリューション機能集約による特徴調整問題を効果的に軽減することができる。
第2に、コンテキスト埋め込みを手作業で行うことで、AlignCMは各ピクセルが適応的な方法でプライベートなコンテキスト情報を選択することを可能にする。
我々は,CityscapesとADE20Kの広範な実験によりAlignSegネットワークの有効性を検証し,最新のmIoUスコアを82.6%,45.95%とした。
ソースコードは利用可能になる予定です。
関連論文リスト
- DIAL: Dense Image-text ALignment for Weakly Supervised Semantic Segmentation [8.422110274212503]
弱教師付きセマンティックセグメンテーションアプローチは通常、初期シード生成にクラスアクティベーションマップ(CAM)に依存する。
DALNetは、テキストの埋め込みを利用して、さまざまなレベルの粒度のオブジェクトの包括的理解と正確な位置決めを強化する。
このアプローチは特に、シングルステージの手法として、より効率的なエンドツーエンドプロセスを可能にします。
論文 参考訳（メタデータ） (2024-09-24T06:51:49Z) - Contrast, Stylize and Adapt: Unsupervised Contrastive Learning Framework
for Domain Adaptive Semantic Segmentation [18.843639142342642]
画素レベルと特徴レベルの両方で領域ギャップを埋めるためのコントラストFEaTureとpIxelアライメントを提案する。
提案手法はDeepLabV2を用いて既存の最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-06-15T12:50:46Z) - Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。
具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
論文 参考訳（メタデータ） (2023-05-17T14:30:11Z) - Part-guided Relational Transformers for Fine-grained Visual Recognition [59.20531172172135]
識別的特徴を学習し,特徴変換モジュールとの相関関係を探索するフレームワークを提案する。
提案手法は,3-of-the-levelオブジェクト認識において,部分ブランチの追加に頼らず,最先端の性能に達する。
論文 参考訳（メタデータ） (2022-12-28T03:45:56Z) - DecoupleNet: Decoupled Network for Domain Adaptive Semantic Segmentation [78.30720731968135]
セマンティックセグメンテーションにおける教師なしドメイン適応は、高価なピクセル単位のアノテーションへの依存を軽減するために提起されている。
我々は、ソースドメインのオーバーフィットを軽減し、最終的なモデルをセグメント化タスクに集中できるようにするDecoupleNetを提案する。
我々はまた、自己識別(SD)を推進し、擬似ラベルでより識別可能なターゲットドメイン特徴を学習するための補助分類器を導入した。
論文 参考訳（メタデータ） (2022-07-20T15:47:34Z) - Learning Implicit Feature Alignment Function for Semantic Segmentation [51.36809814890326]
Implicit Feature Alignment Function (IFA)は、暗黙の神経表現の急速に拡大するトピックにインスパイアされている。
IFAは機能マップを異なるレベルで暗黙的に整列し、任意の解像度でセグメンテーションマップを生成することができることを示す。
提案手法は,様々なアーキテクチャの改善と組み合わせて,一般的なベンチマークにおける最先端の精度のトレードオフを実現する。
論文 参考訳（メタデータ） (2022-06-17T09:40:14Z) - Referring Image Segmentation via Cross-Modal Progressive Comprehension [94.70482302324704]
画像セグメンテーションの参照は、自然言語表現で与えられた記述によく一致するエンティティの前景マスクをセグメンテーションすることを目的としている。
従来のアプローチでは、暗黙的な特徴相互作用と視覚的モダリティと言語的モダリティの融合を用いてこの問題に対処していた。
本稿では,この課題に効果的に対応するために,Cross-Modal Progressive (CMPC) モジュールと Text-Guided Feature Exchange (TGFE) モジュールを提案する。
論文 参考訳（メタデータ） (2020-10-01T16:02:30Z) - Unsupervised segmentation via semantic-apparent feature fusion [21.75371777263847]
本研究では,意味親和性特徴融合(SAFF)に基づく教師なし前景セグメンテーション手法を提案する。
前景オブジェクトのキー領域はセマンティック機能によって正確に応答できる。
意味的特徴と明らかな特徴を融合させ、画像内適応的特徴量学習と画像間共通特徴学習のモジュールをカスケードすることにより、ベースラインをはるかに超える性能を達成する。
論文 参考訳（メタデータ） (2020-05-21T08:28:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。