論文の概要: Variation-Aware Semantic Image Synthesis

• arxiv url: http://arxiv.org/abs/2301.10551v1
• Date: Wed, 25 Jan 2023 12:35:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-26 15:20:24.144386
• Title: Variation-Aware Semantic Image Synthesis
• Title（参考訳）: 変分対応セマンティック画像合成
• Authors: Mingle Xu and Jaehwan Lee and Sook Yoon and Hyongsuk Kim and Dong Sun Park
• Abstract要約: そこで本研究では,より高いクラス内変動,意味雑音,位置符号を有するVASIS(VASIS)を実現するための2つの簡単な手法を提案する。 我々のモデルでは、より自然な画像が生成され、FIDやmIoUよりも若干良い結果が得られる。
• 参考スコア（独自算出の注目度）: 5.232306238197685
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Semantic image synthesis (SIS) aims to produce photorealistic images aligning to given conditional semantic layout and has witnessed a significant improvement in recent years. Although the diversity in image-level has been discussed heavily, class-level mode collapse widely exists in current algorithms. Therefore, we declare a new requirement for SIS to achieve more photorealistic images, variation-aware, which consists of inter- and intra-class variation. The inter-class variation is the diversity between different semantic classes while the intra-class variation stresses the diversity inside one class. Through analysis, we find that current algorithms elusively embrace the inter-class variation but the intra-class variation is still not enough. Further, we introduce two simple methods to achieve variation-aware semantic image synthesis (VASIS) with a higher intra-class variation, semantic noise and position code. We combine our method with several state-of-the-art algorithms and the experimental result shows that our models generate more natural images and achieves slightly better FIDs and/or mIoUs than the counterparts. Our codes and models will be publicly available.
• Abstract（参考訳）: セマンティクス画像合成(sis)は、条件付きセマンティクスレイアウトに適合したフォトリアリスティックな画像を作成することを目的としており、近年大きく改善されている。 画像レベルの多様性は議論されているが、現在のアルゴリズムではクラスレベルのモード崩壊が広く存在している。 そこで,本研究では,クラス間およびクラス内変異からなる,よりフォトリアリスティックな画像,変動認識を実現するためのSISの新しい要件を宣言する。 クラス間変異は異なるセマンティッククラス間の多様性であり、クラス内変異は1つのクラス内の多様性を強調する。 分析の結果,現在のアルゴリズムではクラス間変動は理解できないが,クラス内変動では不十分であることがわかった。 さらに,クラス内変動の増大を伴う変分認識意味画像合成(vasis)を実現するための2つの簡易手法,意味雑音と位置符号を導入する。 本手法を最先端アルゴリズムと組み合わせ,実験結果から,モデルが自然画像の生成量を増やし,それよりもわずかに優れたfidおよび/またはmiousを実現することを示す。 私たちのコードとモデルは公開されます。

関連論文リスト

• Enhance Image Classification via Inter-Class Image Mixup with Diffusion Model [80.61157097223058]
  画像分類性能を高めるための一般的な戦略は、T2Iモデルによって生成された合成画像でトレーニングセットを増強することである。 本研究では,既存のデータ拡張技術の欠点について検討する。 Diff-Mixと呼ばれる革新的なクラス間データ拡張手法を導入する。
  論文  参考訳（メタデータ） (2024-03-28T17:23:45Z)
• Unlocking Pre-trained Image Backbones for Semantic Image Synthesis [29.688029979801577]
  本稿では,現実的な画像を生成するセマンティック画像合成のための新しい種類のGAN識別器を提案する。 DP-SIMSをダブした本モデルでは,ADE-20K,COCO-Stuff,Cityscapesの入力ラベルマップと画像品質と一貫性の両面から,最新の結果が得られる。
  論文  参考訳（メタデータ） (2023-12-20T09:39:19Z)
• Diversified in-domain synthesis with efficient fine-tuning for few-shot classification [64.86872227580866]
  画像分類は,クラスごとのラベル付き例の小さなセットのみを用いて,画像分類器の学習を目的としている。 合成データを用いた数ショット学習における一般化問題に対処する新しいアプローチである DisEF を提案する。 提案手法を10種類のベンチマークで検証し,ベースラインを一貫して上回り,数ショット分類のための新しい最先端の手法を確立した。
  論文  参考訳（メタデータ） (2023-12-05T17:18:09Z)
• Diversify, Don't Fine-Tune: Scaling Up Visual Recognition Training with Synthetic Images [37.29348016920314]
  そこで本研究では,既製の生成モデルを利用して合成訓練画像を生成する新しいフレームワークを提案する。 クラス名の曖昧さ、ナイーブなプロンプトの多様性の欠如、ドメインシフトに対処する。 我々のフレームワークは、より合成データによる認識モデルの性能を一貫して向上させる。
  論文  参考訳（メタデータ） (2023-12-04T18:35:27Z)
• Edge Guided GANs with Multi-Scale Contrastive Learning for Semantic Image Synthesis [139.2216271759332]
  本稿では,難解なセマンティック画像合成タスクのための新しいECGANを提案する。 セマンティックラベルは詳細な構造情報を提供しておらず、局所的な詳細や構造を合成することは困難である。 畳み込み、ダウンサンプリング、正規化といった広く採用されているCNN操作は、通常、空間分解能の損失を引き起こす。 本稿では,同じセマンティッククラスに属する画素埋め込みを強制して,より類似した画像コンテンツを生成することを目的とした,新しいコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-22T14:17:19Z)
• Effective Data Augmentation With Diffusion Models [65.09758931804478]
  我々は、事前訓練されたテキスト・画像拡散モデルによりパラメータ化された画像・画像変換によるデータ拡張の多様性の欠如に対処する。 本手法は,市販の拡散モデルを用いて画像のセマンティクスを編集し,いくつかのラベル付き例から新しい視覚概念に一般化する。 本手法は,実世界の雑草認識タスクと数ショット画像分類タスクにおいて評価し,テスト領域における精度の向上を観察する。
  論文  参考訳（メタデータ） (2023-02-07T20:42:28Z)
• Learning Contrastive Representation for Semantic Correspondence [150.29135856909477]
  セマンティックマッチングのためのマルチレベルコントラスト学習手法を提案する。 画像レベルのコントラスト学習は、畳み込み特徴が類似したオブジェクト間の対応を見出すための鍵となる要素であることを示す。
  論文  参考訳（メタデータ） (2021-09-22T18:34:14Z)
• Diversifying Semantic Image Synthesis and Editing via Class- and Layer-wise VAEs [8.528384027684192]
  本稿では,ローカルからグローバルレベルの各オブジェクトクラスに対するフレキシブルな制御を可能にする,変動型オートエンコーダフレームワークのクラスおよびレイヤワイズ拡張を提案する。 提案手法は,最先端の手法と比較して,可塑性かつ多彩な画像を生成する。
  論文  参考訳（メタデータ） (2021-06-25T04:12:05Z)
• Diverse Semantic Image Synthesis via Probability Distribution Modeling [103.88931623488088]
  新規な多様な意味的画像合成フレームワークを提案する。 本手法は最先端手法と比較して優れた多様性と同等の品質を実現することができる。
  論文  参考訳（メタデータ） (2021-03-11T18:59:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。