論文の概要: FA-GAN: Feature-Aware GAN for Text to Image Synthesis

• arxiv url: http://arxiv.org/abs/2109.00907v1
• Date: Thu, 2 Sep 2021 13:05:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-03 13:53:04.867962
• Title: FA-GAN: Feature-Aware GAN for Text to Image Synthesis
• Title（参考訳）: FA-GAN:テキストから画像合成のための特徴認識型GAN
• Authors: Eunyeong Jeon, Kunhee Kim, Daijin Kim
• Abstract要約: 本稿では,2つの手法を統合した高品質な画像合成のためのGAN(Generative Adversarial Network)を提案する。 まず、補助デコーダを用いた自己教師型識別器を設計し、識別器がより良い表現を抽出できるようにする。 第2に,自己監督型識別器からの特徴表現を利用することにより,ジェネレータにより直接的な監督を与える特徴認識損失を導入する。
• 参考スコア（独自算出の注目度）: 7.0168039268464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-image synthesis aims to generate a photo-realistic image from a given natural language description. Previous works have made significant progress with Generative Adversarial Networks (GANs). Nonetheless, it is still hard to generate intact objects or clear textures (Fig 1). To address this issue, we propose Feature-Aware Generative Adversarial Network (FA-GAN) to synthesize a high-quality image by integrating two techniques: a self-supervised discriminator and a feature-aware loss. First, we design a self-supervised discriminator with an auxiliary decoder so that the discriminator can extract better representation. Secondly, we introduce a feature-aware loss to provide the generator more direct supervision by employing the feature representation from the self-supervised discriminator. Experiments on the MS-COCO dataset show that our proposed method significantly advances the state-of-the-art FID score from 28.92 to 24.58.
• Abstract（参考訳）: テキストから画像への合成は、与えられた自然言語記述からフォトリアリスティックな画像を生成することを目的としている。 これまでの成果はGAN(Generative Adversarial Networks)で大きく進歩している。 それでも、無傷な物体や透明なテクスチャを生成するのは難しい(図1)。 この問題に対処するため,我々は,自己教師付き判別器と特徴認識損失という2つの手法を統合し,高品質画像合成のための特徴認識生成逆ネットワーク(fa-gan)を提案する。 まず, 自己教師付き判別器を補助デコーダで設計し, 判別器がより良い表現を抽出できるようにする。 第2に, 自己教師付き判別器の特徴表現を用いて, ジェネレータをより直接的に監視するために, 特徴認識損失を導入する。 MS-COCOデータセットを用いた実験の結果,提案手法は最先端のFIDスコアを28.92から24.58に大幅に向上させることがわかった。

関連論文リスト

• Wavelet-based Unsupervised Label-to-Image Translation [9.339522647331334]
  本稿では、自己教師付きセグメンテーション損失と全画像ウェーブレットに基づく識別を併用した、SIS(USIS)のための新しいアン教師付きパラダイムを提案する。 3つの挑戦的なデータセットで方法論を検証し、ペアモデルとアンペアモデルのパフォーマンスギャップを橋渡しする能力を実証する。
  論文  参考訳（メタデータ） (2023-05-16T17:48:44Z)
• IR-GAN: Image Manipulation with Linguistic Instruction by Increment Reasoning [110.7118381246156]
  Incrment Reasoning Generative Adversarial Network (IR-GAN)は、画像における視覚的インクリメントと命令における意味的インクリメントとの整合性を推論することを目的としている。 まず,単語レベルと命令レベルの命令エンコーダを導入し,履歴関連命令からユーザの意図を意味的インクリメントとして学習する。 第2に、対象画像を生成するために、意味的インクリメントの表現をソースイメージに組み込んで、ソースイメージが補助的参照の役割を担っている。
  論文  参考訳（メタデータ） (2022-04-02T07:48:39Z)
• A Novel Generator with Auxiliary Branch for Improving GAN Performance [7.005458308454871]
  本稿では、2つの異なるブランチから得られた特徴を組み合わせることで、画像を生成する新しいジェネレータアーキテクチャを紹介する。 メインブランチの目標は、複数の残留ブロックを通り抜けて画像を生成することであり、補助ブランチは、前のレイヤの粗い情報を後層に伝達することである。 提案手法の優位性を証明するため, 各種標準データセットを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2021-12-30T08:38:49Z)
• Semantic-Aware Generation for Self-Supervised Visual Representation Learning [116.5814634936371]
  セマンティック・アウェア・ジェネレーション(SaGe)は、生成した画像に保存される詳細よりも、よりリッチなセマンティクスを促進する。 SaGeは、ターゲットネットワークをビュー特有の特徴で補完することで、集中的なデータ拡張によって引き起こされるセマンティックな劣化を軽減する。 我々は、ImageNet-1K上でSaGeを実行し、近接検定、線形分類、微視的画像認識を含む5つの下流タスクで事前訓練されたモデルを評価する。
  論文  参考訳（メタデータ） (2021-11-25T16:46:13Z)
• Dual Contrastive Loss and Attention for GANs [82.713118646294]
  この損失により、識別器はより一般化され、識別可能な表現を学習し、生成をインセンティブ化することを示す。 最近の最先端モデルでは使われていないものの、画像生成にはまだ重要なモジュールとして注目が集まっている。 これらの救済策の強みを組み合わせることで、Fr'echet Inception Distance(FID)をいくつかのベンチマークデータセットで少なくとも17.5%改善します。
  論文  参考訳（メタデータ） (2021-03-31T01:10:26Z)
• You Only Need Adversarial Supervision for Semantic Image Synthesis [84.83711654797342]
  我々は,高品質な結果を得るためには敵対的監督のみを必要とする,新しい簡易ganモデルを提案する。 本モデルによって合成された画像はより多様であり,実画像の色やテクスチャに密接に従っている。
  論文  参考訳（メタデータ） (2020-12-08T23:00:48Z)
• DF-GAN: A Simple and Effective Baseline for Text-to-Image Synthesis [80.54273334640285]
  本稿では,異なる生成装置間の絡み合わずに高解像度画像を直接合成する,新しい1段階のテキスト・ツー・イメージバックボーンを提案する。 また,Matching-Aware Gradient Penalty と One-Way Output を組み合わせた新たなターゲット認識識別器を提案する。 現在の最先端手法と比較して,提案するDF-GANはよりシンプルだが,現実的およびテキストマッチング画像の合成には効率的である。
  論文  参考訳（メタデータ） (2020-08-13T12:51:17Z)
• A U-Net Based Discriminator for Generative Adversarial Networks [86.67102929147592]
  GAN(Generative Adversarial Network)のための代替U-Netベースの識別器アーキテクチャを提案する。 提案アーキテクチャにより,合成画像のグローバルコヒーレンスを維持しつつ,画素単位の詳細なフィードバックを生成元に提供することができる。 斬新な判別器は、標準分布と画像品質の指標の観点から、最先端の技術を向上する。
  論文  参考訳（メタデータ） (2020-02-28T11:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。