論文の概要: Attention-based fusion of semantic boundary and non-boundary information
to improve semantic segmentation
- arxiv url: http://arxiv.org/abs/2108.02840v1
- Date: Thu, 5 Aug 2021 20:46:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-09 14:35:58.576569
- Title: Attention-based fusion of semantic boundary and non-boundary information
to improve semantic segmentation
- Title（参考訳）: セマンティクスセグメンテーション改善のための注意に基づくセマンティクス境界と非バウンダリ情報の融合
- Authors: Jefferson Fontinele and Gabriel Lefundes and Luciano Oliveira
- Abstract要約: 本稿では,新しい融合方式に基づく画像意味的セグメンテーション手法を提案する。
我々の提案の主な目的は、全体セグメンテーション性能を改善するために、オブジェクト境界情報を調べることである。
提案したモデルでは,CityScapes,CamVid,Pascal Contextデータセットで最高のmIoU,Mapillary Vistasで2番目によいmIoUを達成した。
- 参考スコア（独自算出の注目度）: 9.518010235273783
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper introduces a method for image semantic segmentation grounded on a
novel fusion scheme, which takes place inside a deep convolutional neural
network. The main goal of our proposal is to explore object boundary
information to improve the overall segmentation performance. Unlike previous
works that combine boundary and segmentation features, or those that use
boundary information to regularize semantic segmentation, we instead propose a
novel approach that embodies boundary information onto segmentation. For that,
our semantic segmentation method uses two streams, which are combined through
an attention gate, forming an end-to-end Y-model. To the best of our knowledge,
ours is the first work to show that boundary detection can improve semantic
segmentation when fused through a semantic fusion gate (attention model). We
performed an extensive evaluation of our method over public data sets. We found
competitive results on all data sets after comparing our proposed model with
other twelve state-of-the-art segmenters, considering the same training
conditions. Our proposed model achieved the best mIoU on the CityScapes,
CamVid, and Pascal Context data sets, and the second best on Mapillary Vistas.
- Abstract（参考訳）: 本稿では,深層畳み込みニューラルネットワーク内で発生する新しい融合方式に基づく画像意味セグメンテーション手法を提案する。
提案の主な目標は,オブジェクト境界情報を探索し,全体のセグメンテーション性能を改善することである。
境界とセグメンテーションの特徴を結合した以前の作品や、セグメンテーションを規則化するために境界情報を使用する作品とは異なり、代わりにセグメンテーションに境界情報を具現化する新しいアプローチを提案する。
そこで本手法では,2つのストリームをアテンションゲートを介して結合し,エンドツーエンドのYモデルを生成する。
我々の知る限りでは、セマンティックフュージョンゲート(アテンションモデル)を介して融合した場合、境界検出がセマンティックセグメンテーションを改善することを示す最初の研究である。
提案手法を公開データセットに対して広範囲に評価した。
提案したモデルと他の12の最先端セグメンタを比較して,同じトレーニング条件を考慮に入れた結果,全データセットの競争結果が得られた。
提案したモデルでは,CityScapes,CamVid,Pascal Contextデータセットで最高のmIoU,Mapillary Vistasで2番目によいmIoUを達成した。
関連論文リスト
- Enhancing Weakly Supervised Semantic Segmentation with Multi-modal Foundation Models: An End-to-End Approach [7.012760526318993]
Weakly-Supervised Semantic (WSSS)は、広範囲なラベリングに対してコスト効率のよい回避手段を提供する。
既存のWSSSメソッドは、セグメンテーション結果の低さにつながるオブジェクトの境界を理解するのに苦労しています。
本稿では,境界ボックス内の視覚的基盤モデルを活用することにより,これらの問題に対処する,新しい効果的なフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-10T16:42:25Z) - Exploring Open-Vocabulary Semantic Segmentation without Human Labels [76.15862573035565]
我々は、既存の事前学習された視覚言語モデル(VL)を利用して意味的セグメンテーションモデルを訓練するZeroSegを提案する。
ZeroSegは、VLモデルで学んだ視覚概念をセグメントトークンの集合に蒸留することでこれを克服し、それぞれが対象画像の局所化領域を要約する。
提案手法は,他のゼロショットセグメンテーション法と比較して,同じトレーニングデータを用いた場合と比較して,最先端性能を実現する。
論文 参考訳（メタデータ） (2023-06-01T08:47:06Z) - Open-world Semantic Segmentation via Contrasting and Clustering
Vision-Language Embedding [95.78002228538841]
本研究では,様々なオープンワールドカテゴリのセマンティックオブジェクトを高密度アノテーションを使わずにセマンティックオブジェクトのセマンティックオブジェクトのセマンティック化を学習するための,新しいオープンワールドセマンティックセマンティックセマンティックセマンティクスパイプラインを提案する。
提案手法は任意のカテゴリのオブジェクトを直接分割し、3つのベンチマークデータセット上でデータラベリングを必要とするゼロショットセグメンテーション法より優れている。
論文 参考訳（メタデータ） (2022-07-18T09:20:04Z) - PSSNet: Planarity-sensible Semantic Segmentation of Large-scale Urban
Meshes [3.058685580689605]
テクスチャメッシュとして表現された3次元都市シーンを解釈するための,新しいディープラーニングベースのフレームワークを提案する。
我々のフレームワークは2つのステップでセマンティックセグメンテーションを実現する: 計画性に敏感なオーバーセグメンテーションとセマンティックセグメンテーション。
我々のアプローチは、境界品質とIoU(組合間)の平均で最先端の手法より優れています。
論文 参考訳（メタデータ） (2022-02-07T14:16:10Z) - Scaling up Multi-domain Semantic Segmentation with Sentence Embeddings [81.09026586111811]
ゼロショット設定に適用した場合、最先端の教師付き性能を実現するセマンティックセマンティックセマンティクスへのアプローチを提案する。
これは各クラスラベルを、クラスを記述する短い段落のベクトル値の埋め込みに置き換えることによって達成される。
結果として得られた200万以上の画像の統合セマンティックセグメンテーションデータセットは、7つのベンチマークデータセット上の最先端の教師付きメソッドと同等のパフォーマンスを達成するモデルをトレーニングすることができる。
論文 参考訳（メタデータ） (2022-02-04T07:19:09Z) - BI-GCN: Boundary-Aware Input-Dependent Graph Convolution Network for
Biomedical Image Segmentation [21.912509900254364]
セグメント化タスクにグラフ畳み込みを適用し,改良されたtextitLaplacianを提案する。
本手法は,大腸内視鏡像におけるポリープの分画と光ディスク,光カップのカラーファンドス画像における画期的なアプローチよりも優れていた。
論文 参考訳（メタデータ） (2021-10-27T21:12:27Z) - Unsupervised Domain Adaptation for Semantic Segmentation via Low-level
Edge Information Transfer [27.64947077788111]
セマンティックセグメンテーションのための教師なしドメイン適応は、合成データに基づいて訓練されたモデルを実際の画像に適応させることを目的としている。
従来の特徴レベルの対数学習手法は、高レベルの意味的特徴に適応するモデルのみを考慮していた。
本稿では,ドメイン間ギャップが小さい低レベルエッジ情報を明示的に利用して意味情報の伝達をガイドする試みについて紹介する。
論文 参考訳（メタデータ） (2021-09-18T11:51:31Z) - BoundarySqueeze: Image Segmentation as Boundary Squeezing [104.43159799559464]
本研究では,オブジェクトとシーンの微細な高画質画像分割のための新しい手法を提案する。
形態素画像処理技術による拡張と浸食に着想を得て,画素レベルのセグメンテーション問題をスクイーズ対象境界として扱う。
提案手法は,COCO,Cityscapesのインスタンス・セグメンテーション・セグメンテーション・セグメンテーションにおいて大きく向上し,同一条件下での精度・速度ともに従来のPointRendよりも優れていた。
論文 参考訳（メタデータ） (2021-05-25T04:58:51Z) - Three Ways to Improve Semantic Segmentation with Self-Supervised Depth
Estimation [90.87105131054419]
ラベルなし画像列からの自己教師付き単眼深度推定により強化された半教師付きセマンティックセマンティックセマンティックセマンティクスのフレームワークを提案する。
提案されたモデルをCityscapesデータセット上で検証する。
論文 参考訳（メタデータ） (2020-12-19T21:18:03Z) - Improving Semantic Segmentation via Decoupled Body and Edge Supervision [89.57847958016981]
既存のセグメンテーションアプローチは、グローバルコンテキストをモデル化することでオブジェクトの内部の一貫性を改善すること、あるいはマルチスケールの特徴融合によって境界に沿ったオブジェクトの詳細を洗練することを目的としている。
本稿では,セマンティックセグメンテーションのための新しいパラダイムを提案する。
我々の洞察は、セマンティックセグメンテーションの魅力ある性能には、画像の高頻度と低頻度に対応するオブジェクトのテキストボディとテキストエッジを具体的にモデル化する必要があるということである。
さまざまなベースラインやバックボーンネットワークを備えた提案したフレームワークが,オブジェクト内部の一貫性とオブジェクト境界を向上させることを示す。
論文 参考訳（メタデータ） (2020-07-20T12:11:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。