論文の概要: Domain Adaptive Semantic Segmentation by Optimal Transport
- arxiv url: http://arxiv.org/abs/2303.16435v1
- Date: Wed, 29 Mar 2023 03:33:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-30 16:04:15.247442
- Title: Domain Adaptive Semantic Segmentation by Optimal Transport
- Title（参考訳）: 最適輸送によるドメイン適応意味セグメンテーション
- Authors: Yaqian Guo, Xin Wang, Ce Li, Shihui Ying
- Abstract要約: セマンティックシーンセグメンテーションは、それが含んでいるセマンティック情報の豊かさから、多くの注目を集めています。
現在のアプローチは主に畳み込みニューラルネットワーク(CNN)に基づいているが、多くのラベルに依存している。
本稿では、最適輸送(OT)とこの問題に対処するためのアテンションメカニズムに基づくドメイン適応(DA)フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 13.133890240271308
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scene segmentation is widely used in the field of autonomous driving for
environment perception, and semantic scene segmentation (3S) has received a
great deal of attention due to the richness of the semantic information it
contains. It aims to assign labels to pixels in an image, thus enabling
automatic image labeling. Current approaches are mainly based on convolutional
neural networks (CNN), but they rely on a large number of labels. Therefore,
how to use a small size of labeled data to achieve semantic segmentation
becomes more and more important. In this paper, we propose a domain adaptation
(DA) framework based on optimal transport (OT) and attention mechanism to
address this issue. Concretely, first we generate the output space via CNN due
to its superiority of feature representation. Second, we utilize OT to achieve
a more robust alignment of source and target domains in output space, where the
OT plan defines a well attention mechanism to improve the adaptation of the
model. In particular, with OT, the number of network parameters has been
reduced and the network has been better interpretable. Third, to better
describe the multi-scale property of features, we construct a multi-scale
segmentation network to perform domain adaptation. Finally, in order to verify
the performance of our proposed method, we conduct experimental comparison with
three benchmark and four SOTA methods on three scene datasets, and the mean
intersection-over-union (mIOU) has been significant improved, and visualization
results under multiple domain adaptation scenarios also show that our proposed
method has better performance than compared semantic segmentation methods.
- Abstract（参考訳）: シーンセグメンテーションは、環境認識のための自律運転の分野で広く使われており、セマンティックシーンセグメンテーション(3S)は、それらに含まれるセマンティック情報の豊かさから、多くの注目を集めている。
画像中のピクセルにラベルを割り当てることを目的としており、自動ラベリングを可能にする。
現在のアプローチは主に畳み込みニューラルネットワーク(CNN)に基づいているが、多くのラベルに依存している。
そのため、ラベル付きデータの小さなサイズを使ってセマンティックセグメンテーションを実現する方法がますます重要になる。
本稿では,この問題を解決するために,最適輸送(ot)と注意機構に基づくドメイン適応(da)フレームワークを提案する。
具体的には、まず、特徴表現の優位性から、CNNを介して出力空間を生成する。
第二に、OTを用いて出力空間におけるソースドメインとターゲットドメインのより堅牢なアライメントを実現し、OTプランはモデルの適応性を改善するための注意機構を定義する。
特にOTでは、ネットワークパラメータの数が減少し、ネットワークの解釈性が向上した。
第3に,特徴のマルチスケール性を説明するため,ドメイン適応を行うマルチスケールセグメンテーションネットワークを構築した。
最後に,提案手法の性能を検証するため,3つのシーンデータセット上で3つのベンチマークと4つのSOTA手法を実験的に比較し,平均交叉和(mIOU)が大幅に改善され,複数のドメイン適応シナリオ下での可視化結果からも,提案手法がセマンティックセグメンテーション法よりも優れた性能を示した。
関連論文リスト
- UniDAformer: Unified Domain Adaptive Panoptic Segmentation Transformer
via Hierarchical Mask Calibration [49.16591283724376]
単一ネットワーク内でのドメイン適応型インスタンス分割とセマンティックセマンティックセマンティックセマンティクスを同時に実現可能な,シンプルで統一されたドメイン適応型パン光学セマンティクスセマンティクス変換器UniDAformerを設計する。
UniDAformerは階層型マスク(Hierarchical Mask, HMC)を導入し、オンザフライでのオンラインセルフトレーニングを通じて、領域、スーパーピクセル、注釈付きピクセルのレベルで不正確な予測を修正した。
1) 統合されたドメイン適応型パン光学適応を可能にする; 2) 誤った予測を緩和し、ドメイン適応型パン光学セグメンテーションを効果的に改善する; 3) より単純なトレーニングと推論パイプラインでエンドツーエンドのトレーニングを可能にする。
論文 参考訳（メタデータ） (2022-06-30T07:32:23Z) - AF$_2$: Adaptive Focus Framework for Aerial Imagery Segmentation [86.44683367028914]
航空画像のセグメンテーションにはいくつかの独特な課題があり、中でも最も重要なものは前景と背景のアンバランスにある。
本稿では,階層的なセグメンテーション手法を採用し,マルチスケール表現を適応的に活用するAdaptive Focus Framework (AF$)を提案する。
AF$は、広く使われている3つの航空ベンチマークの精度を大幅に改善した。
論文 参考訳（メタデータ） (2022-02-18T10:14:45Z) - Improving Semi-Supervised and Domain-Adaptive Semantic Segmentation with
Self-Supervised Depth Estimation [94.16816278191477]
本稿では,セミアダプティブなセマンティックセマンティックセマンティックセグメンテーションのためのフレームワークを提案する。
ラベルのない画像シーケンスでのみ訓練された自己教師付き単眼深度推定によって強化される。
提案したモデルをCityscapesデータセット上で検証する。
論文 参考訳（メタデータ） (2021-08-28T01:33:38Z) - Latent Space Regularization for Unsupervised Domain Adaptation in
Semantic Segmentation [14.050836886292869]
セマンティックセグメンテーションにおけるドメインの不一致を減らすために、機能レベルの空間形成正規化戦略を紹介します。
このような手法の有効性を自律運転環境で検証する。
論文 参考訳（メタデータ） (2021-04-06T16:07:22Z) - Cross-modal Learning for Domain Adaptation in 3D Semantic Segmentation [11.895722159139108]
ドメイン適応はラベルが不足している場合の学習を可能にする重要なタスクである。
相互模倣による2つのモダリティの予測の整合性を実現するクロスモーダル学習を提案する。
我々は、ラベル付きデータに対する正確な予測とラベルなしのターゲットドメインデータに対するモダリティ間の一貫性のある予測をネットワークに制限する。
論文 参考訳（メタデータ） (2021-01-18T18:59:21Z) - Towards Adaptive Semantic Segmentation by Progressive Feature Refinement [16.40758125170239]
セグメンテーションネットワークの転送可能性を高めるために,ドメイン逆学習とともに,革新的なプログレッシブな特徴改善フレームワークを提案する。
その結果、ソース・ドメイン・イメージで訓練されたセグメンテーション・モデルは、大幅な性能劣化を伴わずにターゲット・ドメインに転送できる。
論文 参考訳（メタデータ） (2020-09-30T04:17:48Z) - Affinity Space Adaptation for Semantic Segmentation Across Domains [57.31113934195595]
本稿では,意味的セグメンテーションにおける教師なしドメイン適応(UDA)の問題に対処する。
ソースドメインとターゲットドメインが不変なセマンティック構造を持つという事実に触発され、ドメイン間におけるそのような不変性を活用することを提案する。
親和性空間適応戦略として,親和性空間の洗浄と親和性空間アライメントという2つの方法を開発した。
論文 参考訳（メタデータ） (2020-09-26T10:28:11Z) - Spatial Attention Pyramid Network for Unsupervised Domain Adaptation [66.75008386980869]
教師なし領域適応は様々なコンピュータビジョンタスクにおいて重要である。
教師なし領域適応のための新しい空間注意ピラミッドネットワークを設計する。
我々の手法は最先端の手法に対して大きなマージンで好適に機能する。
論文 参考訳（メタデータ） (2020-03-29T09:03:23Z) - Gated Path Selection Network for Semantic Segmentation [72.44994579325822]
我々は,適応的な受容場を学習することを目的とした,GPSNetという新しいネットワークを開発した。
GPSNetにおいて、我々はまず2次元のマルチスケールネットワーク、SuperNetを設計する。
望ましいセマンティックコンテキストを動的に選択するために、ゲート予測モジュールがさらに導入される。
論文 参考訳（メタデータ） (2020-01-19T12:32:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。