論文の概要: Global and Local Texture Randomization for Synthetic-to-Real Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2108.02376v1
• Date: Thu, 5 Aug 2021 05:14:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-06 14:41:33.834932
• Title: Global and Local Texture Randomization for Synthetic-to-Real Semantic Segmentation
• Title（参考訳）: セマンティックセマンティックセグメンテーションのためのグローバルおよび局所テクスチャランダム化
• Authors: Duo Peng, Yinjie Lei, Lingqiao Liu, Pingping Zhang, and Jun Liu
• Abstract要約: GTR(Global Randomization)とLTR(Local Texture Randomization)という2つの単純なテクスチャランダム化機構を提案する。 GTRは、ソース画像のテクスチャを多様なテクスチャスタイルにランダム化する。 LTRは、ソースイメージを部分的にスタイリングするために、多様なローカル領域を生成する。
• 参考スコア（独自算出の注目度）: 40.556020857447535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic segmentation is a crucial image understanding task, where each pixel of image is categorized into a corresponding label. Since the pixel-wise labeling for ground-truth is tedious and labor intensive, in practical applications, many works exploit the synthetic images to train the model for real-word image semantic segmentation, i.e., Synthetic-to-Real Semantic Segmentation (SRSS). However, Deep Convolutional Neural Networks (CNNs) trained on the source synthetic data may not generalize well to the target real-world data. In this work, we propose two simple yet effective texture randomization mechanisms, Global Texture Randomization (GTR) and Local Texture Randomization (LTR), for Domain Generalization based SRSS. GTR is proposed to randomize the texture of source images into diverse unreal texture styles. It aims to alleviate the reliance of the network on texture while promoting the learning of the domain-invariant cues. In addition, we find the texture difference is not always occurred in entire image and may only appear in some local areas. Therefore, we further propose a LTR mechanism to generate diverse local regions for partially stylizing the source images. Finally, we implement a regularization of Consistency between GTR and LTR (CGL) aiming to harmonize the two proposed mechanisms during training. Extensive experiments on five publicly available datasets (i.e., GTA5, SYNTHIA, Cityscapes, BDDS and Mapillary) with various SRSS settings (i.e., GTA5/SYNTHIA to Cityscapes/BDDS/Mapillary) demonstrate that the proposed method is superior to the state-of-the-art methods for domain generalization based SRSS.
• Abstract（参考訳）: セマンティックセグメンテーションは、画像の各ピクセルを対応するラベルに分類する重要な画像理解タスクである。 地表面のピクセル単位のラベリングは退屈で手間がかかるため、実際の用途では、合成画像を利用して実語画像意味セグメンテーション(srss)のモデルを訓練する作品が多い。 しかしながら、ソース合成データでトレーニングされた深層畳み込みニューラルネットワーク(cnns)は、ターゲットとする現実世界のデータにうまく一般化できない可能性がある。 本研究では,グローバルテクスチャランダム化 (gtr) とローカルテクスチャランダム化 (ltr) の2つの簡易かつ効果的なテクスチャランダム化機構を提案する。 GTRは、ソース画像のテクスチャを多様な非現実的なテクスチャスタイルにランダム化する。 ネットワークのテクスチャへの依存を軽減するとともに,ドメイン不変の学習を促進することを目的としている。 また,画像全体においてテクスチャの違いは必ずしも発生せず,一部の地域のみに現れる可能性がある。 そこで本研究では,ソース画像を部分的にスタイリングするために,多様な局所領域を生成するLTR機構を提案する。 最後に、GTRとLTR(CGL)の整合性の規則化を実装し、トレーニング中の2つのメカニズムの調和を図る。 各種SRSS設定(GTA5/SyNTHIA to Cityscapes/BDDS/Mapillary)を用いた5つの公開データセット(GTA5,SynTHIA,Cityscapes,BDDS,Mapillary)の大規模な実験により、提案手法はドメイン一般化に基づくSRSSの最先端手法よりも優れていることが示された。

関連論文リスト

• SeD: Semantic-Aware Discriminator for Image Super-Resolution [20.646975821512395]
  Generative Adversarial Networks (GAN) は画像超解像(SR)タスクの鮮やかなテクスチャを復元するために広く利用されている。 1つの識別器を用いて、SRネットワークは、現実の高品質な画像の分布を敵の訓練方法で学習することができる。 簡便かつ効果的な意味認識識別器(SeD)を提案する。 SeDは、画像のセマンティクスを条件として導入することにより、SRネットワークにきめ細かい分布の学習を奨励する。
  論文  参考訳（メタデータ） (2024-02-29T17:38:54Z)
• Semantic RGB-D Image Synthesis [22.137419841504908]
  この問題に対処するために,意味的RGB-D画像合成を導入する。 しかし、現在のアプローチはユニモーダルであり、マルチモーダルデータには対応できない。 意味的レイアウトのモーダル非依存情報とモーダル依存情報とを分離したマルチモーダルデータのジェネレータを提案する。
  論文  参考訳（メタデータ） (2023-08-22T11:16:24Z)
• LD-ZNet: A Latent Diffusion Approach for Text-Based Image Segmentation [10.623430999818925]
  本稿では,インターネット規模のデータセットに基づいて学習した潜在拡散モデル(LDM)を用いて,実画像とAI画像のセグメンテーションを行う手法を提案する。 自然画像のテキストと画像のセグメンテーションにおいて,標準ベースラインよりも6%向上することを示す。 AI生成画像では、最先端技術と比較して20%近く改善されている。
  論文  参考訳（メタデータ） (2023-03-22T06:55:01Z)
• Joint Learning of Deep Texture and High-Frequency Features for Computer-Generated Image Detection [24.098604827919203]
  本稿では,CG画像検出のための深いテクスチャと高周波特徴を有する共同学習戦略を提案する。 セマンティックセグメンテーションマップを生成して、アフィン変換操作を誘導する。 原画像と原画像の高周波成分の組み合わせを、注意機構を備えたマルチブランチニューラルネットワークに供給する。
  論文  参考訳（メタデータ） (2022-09-07T17:30:40Z)
• Semantic Image Synthesis via Diffusion Models [159.4285444680301]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Low Light Image Enhancement via Global and Local Context Modeling [164.85287246243956]
  低照度画像強調のためのコンテキスト認識ディープネットワークを導入。 まず、全空間領域上の補完的な手がかりを見つけるために空間相関をモデル化するグローバルコンテキストモジュールを特徴とする。 第二に、比較的大きな受容フィールドで局所的なコンテキストをキャプチャする密な残留ブロックを導入する。
  論文  参考訳（メタデータ） (2021-01-04T09:40:54Z)
• DF-GAN: A Simple and Effective Baseline for Text-to-Image Synthesis [80.54273334640285]
  本稿では,異なる生成装置間の絡み合わずに高解像度画像を直接合成する,新しい1段階のテキスト・ツー・イメージバックボーンを提案する。 また,Matching-Aware Gradient Penalty と One-Way Output を組み合わせた新たなターゲット認識識別器を提案する。 現在の最先端手法と比較して,提案するDF-GANはよりシンプルだが,現実的およびテキストマッチング画像の合成には効率的である。
  論文  参考訳（メタデータ） (2020-08-13T12:51:17Z)
• Component Divide-and-Conquer for Real-World Image Super-Resolution [143.24770911629807]
  本稿では,DRealSR,DRealSR,および分割コンカレント・コンカレント・スーパー・リゾリューション・ネットワークの大規模画像スーパー・リゾリューション・データセットを提案する。 DRealSRは、さまざまな現実世界の劣化プロセスを備えた新しいSRベンチマークを確立する。 SR に対して Component Divide-and-Conquer (CDC) モデルと Gradient-Weighted (GW) 損失を提案する。
  論文  参考訳（メタデータ） (2020-08-05T04:26:26Z)
• A U-Net Based Discriminator for Generative Adversarial Networks [86.67102929147592]
  GAN(Generative Adversarial Network)のための代替U-Netベースの識別器アーキテクチャを提案する。 提案アーキテクチャにより,合成画像のグローバルコヒーレンスを維持しつつ,画素単位の詳細なフィードバックを生成元に提供することができる。 斬新な判別器は、標準分布と画像品質の指標の観点から、最先端の技術を向上する。
  論文  参考訳（メタデータ） (2020-02-28T11:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。