論文の概要: Semantic Editing On Segmentation Map Via Multi-Expansion Loss
- arxiv url: http://arxiv.org/abs/2010.08128v1
- Date: Fri, 16 Oct 2020 03:12:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 20:12:34.449187
- Title: Semantic Editing On Segmentation Map Via Multi-Expansion Loss
- Title(参考訳): マルチ展開損失によるセグメンテーションマップのセマンティクス編集
- Authors: Jianfeng He, Xuchao Zhang, Shuo Lei, Shuhui Wang, Qingming Huang,
Chang-Tien Lu, Bei Xiao
- Abstract要約: 本稿では,セグメンテーションマップのセグメンテーションの精度向上を目的とした。
本稿では,新しいMulti-Expansion(MEx)損失を利用したセグメンテーションマップのセグメンテーション編集のためのMExGANを提案する。
セグメンテーションマップのセグメンテーション編集と自然画像のインペインティングの実験は、4つのデータセットで競合する結果を示した。
- 参考スコア(独自算出の注目度): 98.1131339357174
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semantic editing on segmentation map has been proposed as an intermediate
interface for image generation, because it provides flexible and strong
assistance in various image generation tasks. This paper aims to improve
quality of edited segmentation map conditioned on semantic inputs. Even though
recent studies apply global and local adversarial losses extensively to
generate images for higher image quality, we find that they suffer from the
misalignment of the boundary area in the mask area. To address this, we propose
MExGAN for semantic editing on segmentation map, which uses a novel
Multi-Expansion (MEx) loss implemented by adversarial losses on MEx areas. Each
MEx area has the mask area of the generation as the majority and the boundary
of original context as the minority. To boost convenience and stability of MEx
loss, we further propose an Approximated MEx (A-MEx) loss. Besides, in contrast
to previous model that builds training data for semantic editing on
segmentation map with part of the whole image, which leads to model performance
degradation, MExGAN applies the whole image to build the training data.
Extensive experiments on semantic editing on segmentation map and natural image
inpainting show competitive results on four datasets.
- Abstract(参考訳): セグメンテーションマップのセマンティクス編集は,様々な画像生成タスクにおいて柔軟かつ強力な支援を提供するため,画像生成のための中間インタフェースとして提案されている。
本稿では,セマンティクス入力を条件とした編集セグメンテーションマップの品質向上を目的とする。
近年の研究では、大域的および局所的な敵意的損失を広範に適用して高画質の画像を生成するが、マスク領域の境界領域の誤認に苦しむことが判明した。
そこで本研究では,MEx領域の対角的損失によって実現された新しいマルチ展開(MEx)損失を用いたセグメンテーションマップのセグメンテーション編集のためのMExGANを提案する。
それぞれのメックス地域は、世代のマスク領域が多数派であり、元のコンテキストの境界が少数派である。
さらに,MEx損失の利便性と安定性を高めるため,近似MEx損失(A-MEx)を提案する。
さらに,画像全体の一部としてセグメンテーションマップ上にセグメンテーション編集のためのトレーニングデータを構築する以前のモデルとは対照的に,MExGANはトレーニングデータを構築するために全体画像を適用する。
セグメンテーションマップと自然画像インペインティングのセマンティクス編集に関する広範な実験は、4つのデータセットで競合的な結果を示している。
関連論文リスト
- MiSuRe is all you need to explain your image segmentation [3.363736106489207]
画像セグメンテーションのためのサリエンシマップを生成するアルゴリズムとしてMiSuReを提案する。
MiSuReが生成したサリエンシマップの目標は、無関係な領域を排除し、画像分割決定に不可欠な入力画像内のこれらの領域のみをハイライトすることである。
論文 参考訳(メタデータ) (2024-06-18T00:45:54Z) - MixReorg: Cross-Modal Mixed Patch Reorganization is a Good Mask Learner
for Open-World Semantic Segmentation [110.09800389100599]
セマンティックセグメンテーションのための新鮮で簡単な事前学習パラダイムであるMixReorgを提案する。
我々のアプローチは、パッチとテキストの対応を保ちながら、画像パッチを混合することで、きめ細かいパッチテキストペアデータを生成することである。
マスク学習者としてMixReorgを使用することで、従来のテキスト教師付きセマンティックセマンティックセマンティックモデルは、非常に一般化可能なピクセル・セマンティックアライメントを実現することができる。
論文 参考訳(メタデータ) (2023-08-09T09:35:16Z) - Self-Supervised Correction Learning for Semi-Supervised Biomedical Image
Segmentation [84.58210297703714]
半教師付きバイオメディカルイメージセグメンテーションのための自己教師付き補正学習パラダイムを提案する。
共有エンコーダと2つの独立デコーダを含むデュアルタスクネットワークを設計する。
異なるタスクのための3つの医用画像分割データセットの実験により,本手法の優れた性能が示された。
論文 参考訳(メタデータ) (2023-01-12T08:19:46Z) - High-Quality Entity Segmentation [110.55724145851725]
CropFormerは高解像度画像におけるインスタンスレベルのセグメンテーションの難易度に対処するために設計されている。
よりきめ細かい画像とフルイメージを提供する高解像度の画像作物を融合することで、マスク予測を改善する。
CropFormerでは、難易度の高いエンティティセグメンテーションタスクで1.9ドルという大きなAP利益を達成しています。
論文 参考訳(メタデータ) (2022-11-10T18:58:22Z) - A Generalist Framework for Panoptic Segmentation of Images and Videos [61.61453194912186]
我々は,タスクの帰納バイアスに頼ることなく,離散的なデータ生成問題としてパノプティクスセグメンテーションを定式化する。
単純な構造と一般的な損失関数を持つパノスコープマスクをモデル化するための拡散モデルを提案する。
本手法は,動画を(ストリーミング環境で)モデル化し,オブジェクトのインスタンスを自動的に追跡することを学ぶ。
論文 参考訳(メタデータ) (2022-10-12T16:18:25Z) - Weakly-supervised segmentation of referring expressions [81.73850439141374]
テキスト基底セマンティックSEGmentationは、ピクセルレベルのアノテーションなしで画像レベルの参照式から直接セグメンテーションマスクを学習する。
提案手法は,PhraseCutおよびRefCOCOデータセット上での表現セグメンテーションを弱教師付きで参照する際の有望な結果を示す。
論文 参考訳(メタデータ) (2022-05-10T07:52:24Z) - PNM: Pixel Null Model for General Image Segmentation [17.971090313814447]
ランダムセグメンタによって正しく分類される確率に応じて各ピクセルを重み付けする先行モデルを提案する。
3つのデータセットに対するセグメンテーションのセグメンテーション・タスクの実験により、PNMはセグメンテーションの品質を一貫して改善することを確認した。
本稿では,境界のシャープさを認識できる新しい測度であるtextitPNM IoUを提案する。
論文 参考訳(メタデータ) (2022-03-13T15:17:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。