論文の概要: Semantically Enhanced Global Reasoning for Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2212.03338v1
- Date: Tue, 6 Dec 2022 21:42:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 15:21:25.345529
- Title: Semantically Enhanced Global Reasoning for Semantic Segmentation
- Title(参考訳): 意味的セグメンテーションのための意味的拡張グローバル推論
- Authors: Mir Rayat Imtiaz Hossain, Leonid Sigal, James J. Little
- Abstract要約: 画像特徴を潜在領域表現に投影し,グローバルな推論を行うことを学ぶ。
結果として生じる意味的グローバル推論(SGR)は、エンドツーエンドのトレーニングが可能で、任意の意味的セグメンテーションフレームワークと組み合わせることができる。
オブジェクトクラスとインスタンスレベルの両方で表現の意味を計測できる新しいメトリクスを提案する。
- 参考スコア(独自算出の注目度): 37.64601713565947
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent advances in pixel-level tasks (e.g., segmentation) illustrate the
benefit of long-range interactions between aggregated region-based
representations that can enhance local features. However, such pixel-to-region
associations and the resulting representation, which often take the form of
attention, cannot model the underlying semantic structure of the scene (e.g.,
individual objects and, by extension, their interactions). In this work, we
take a step toward addressing this limitation. Specifically, we propose an
architecture where we learn to project image features into latent region
representations and perform global reasoning across them, using a transformer,
to produce contextualized and scene-consistent representations that are then
fused with original pixel-level features. Our design enables the latent regions
to represent semantically meaningful concepts, by ensuring that activated
regions are spatially disjoint and unions of such regions correspond to
connected object segments. The resulting semantic global reasoning (SGR) is
end-to-end trainable and can be combined with any semantic segmentation
framework and backbone. Combining SGR with DeepLabV3 results in a semantic
segmentation performance that is competitive to the state-of-the-art, while
resulting in more semantically interpretable and diverse region
representations, which we show can effectively transfer to detection and
instance segmentation. Further, we propose a new metric that allows us to
measure the semantics of representations at both the object class and instance
level.
- Abstract(参考訳): ピクセルレベルのタスク(例えばセグメンテーション)の最近の進歩は、局所的な特徴を高めることができる集約された領域ベースの表現間の長距離相互作用の利点を示している。
しかし、そのようなピクセルから地域への関連や、しばしば注意の形式をとる結果表現は、シーンの基本的な意味構造(例えば、個々のオブジェクトとそれらの相互作用)をモデル化することはできない。
この作業では、この制限に対処するための一歩を踏み出します。
具体的には,画像特徴を潜在領域表現に投影し,トランスフォーマを使用してグローバル推論を行い,文脈的かつシーン一貫性のある表現を生成し,元のピクセルレベル特徴と融合するアーキテクチャを提案する。
我々の設計では、活性化領域が空間的に不整合であり、そのような領域の結合が連結対象セグメントに対応することを保証することにより、潜在領域が意味論的に意味のある概念を表現することができる。
結果として生じるセマンティックグローバル推論(SGR)は、エンドツーエンドのトレーニングが可能で、セマンティックセグメンテーションフレームワークやバックボーンと組み合わせることができる。
SGRとDeepLabV3を組み合わせることで,最先端技術と競合するセマンティックセマンティックセマンティクスのパフォーマンスが向上すると同時に,よりセマンティクス的に解釈可能な多種多様なリージョン表現が実現され,検出やインスタンスセマンティクスへの効果的な転送が可能となった。
さらに、オブジェクトクラスとインスタンスレベルで表現のセマンティクスを測定することができる新しいメトリックを提案する。
関連論文リスト
- LAW-Diffusion: Complex Scene Generation by Diffusion with Layouts [107.11267074981905]
LAW拡散(LAW-Diffusion)と呼ばれる意味制御可能なレイアウト・AWare拡散モデルを提案する。
LAW拡散は、特にコヒーレントな対象関係を持つ最先端の生成性能をもたらすことを示す。
論文 参考訳(メタデータ) (2023-08-13T08:06:18Z) - A Unified Architecture of Semantic Segmentation and Hierarchical
Generative Adversarial Networks for Expression Manipulation [52.911307452212256]
セマンティックセグメンテーションと階層的GANの統一アーキテクチャを開発する。
我々のフレームワークのユニークな利点は、将来的なセマンティックセグメンテーションネットワーク条件を生成モデルに渡すことである。
我々は,AffectNetとRaFDの2つの難解な表情翻訳ベンチマークとセマンティックセグメンテーションベンチマークであるCelebAMask-HQについて評価を行った。
論文 参考訳(メタデータ) (2021-12-08T22:06:31Z) - Global Aggregation then Local Distribution for Scene Parsing [99.1095068574454]
提案手法は,エンドツーエンドのトレーニング可能なブロックとしてモジュール化され,既存のセマンティックセグメンテーションネットワークに容易に接続可能であることを示す。
私たちのアプローチでは、Cityscapes、ADE20K、Pascal Context、Camvid、COCO-stuffといった主要なセマンティックセグメンテーションベンチマークに基づいて、新しい最先端の技術を構築できます。
論文 参考訳(メタデータ) (2021-07-28T03:46:57Z) - Rethinking Semantic Segmentation Evaluation for Explainability and Model
Selection [12.786648212233116]
地域ベースのオーバーおよびアンダーセグメンテーションを評価するための新しいメトリクスを紹介します。
分析して他のメトリクスと比較し、実世界のアプリケーションにおけるセマンティックセグメンテーションモデルのパフォーマンスをより説明しやすくなることを示す。
論文 参考訳(メタデータ) (2021-01-21T03:12:43Z) - Affinity Space Adaptation for Semantic Segmentation Across Domains [57.31113934195595]
本稿では,意味的セグメンテーションにおける教師なしドメイン適応(UDA)の問題に対処する。
ソースドメインとターゲットドメインが不変なセマンティック構造を持つという事実に触発され、ドメイン間におけるそのような不変性を活用することを提案する。
親和性空間適応戦略として,親和性空間の洗浄と親和性空間アライメントという2つの方法を開発した。
論文 参考訳(メタデータ) (2020-09-26T10:28:11Z) - GINet: Graph Interaction Network for Scene Parsing [58.394591509215005]
画像領域に対する文脈推論を促進するために,グラフインタラクションユニット(GIユニット)とセマンティックコンテキストロス(SC-loss)を提案する。
提案されたGINetは、Pascal-ContextやCOCO Stuffなど、一般的なベンチマークにおける最先端のアプローチよりも優れている。
論文 参考訳(メタデータ) (2020-09-14T02:52:45Z) - Improving Semantic Segmentation via Decoupled Body and Edge Supervision [89.57847958016981]
既存のセグメンテーションアプローチは、グローバルコンテキストをモデル化することでオブジェクトの内部の一貫性を改善すること、あるいはマルチスケールの特徴融合によって境界に沿ったオブジェクトの詳細を洗練することを目的としている。
本稿では,セマンティックセグメンテーションのための新しいパラダイムを提案する。
我々の洞察は、セマンティックセグメンテーションの魅力ある性能には、画像の高頻度と低頻度に対応するオブジェクトのテキストボディとテキストエッジを具体的にモデル化する必要があるということである。
さまざまなベースラインやバックボーンネットワークを備えた提案したフレームワークが,オブジェクト内部の一貫性とオブジェクト境界を向上させることを示す。
論文 参考訳(メタデータ) (2020-07-20T12:11:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。