論文の概要: SeD: Semantic-Aware Discriminator for Image Super-Resolution
- arxiv url: http://arxiv.org/abs/2402.19387v1
- Date: Thu, 29 Feb 2024 17:38:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 13:47:34.964663
- Title: SeD: Semantic-Aware Discriminator for Image Super-Resolution
- Title（参考訳）: 画像超解像のための意味認識識別装置SeD
- Authors: Bingchen Li, Xin Li, Hanxin Zhu, Yeying Jin, Ruoyu Feng, Zhizheng
Zhang, Zhibo Chen
- Abstract要約: Generative Adversarial Networks (GAN) は画像超解像(SR)タスクの鮮やかなテクスチャを復元するために広く利用されている。
1つの識別器を用いて、SRネットワークは、現実の高品質な画像の分布を敵の訓練方法で学習することができる。
簡便かつ効果的な意味認識識別器(SeD)を提案する。
SeDは、画像のセマンティクスを条件として導入することにより、SRネットワークにきめ細かい分布の学習を奨励する。
- 参考スコア（独自算出の注目度）: 20.646975821512395
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative Adversarial Networks (GANs) have been widely used to recover vivid
textures in image super-resolution (SR) tasks. In particular, one discriminator
is utilized to enable the SR network to learn the distribution of real-world
high-quality images in an adversarial training manner. However, the
distribution learning is overly coarse-grained, which is susceptible to virtual
textures and causes counter-intuitive generation results. To mitigate this, we
propose the simple and effective Semantic-aware Discriminator (denoted as SeD),
which encourages the SR network to learn the fine-grained distributions by
introducing the semantics of images as a condition. Concretely, we aim to
excavate the semantics of images from a well-trained semantic extractor. Under
different semantics, the discriminator is able to distinguish the real-fake
images individually and adaptively, which guides the SR network to learn the
more fine-grained semantic-aware textures. To obtain accurate and abundant
semantics, we take full advantage of recently popular pretrained vision models
(PVMs) with extensive datasets, and then incorporate its semantic features into
the discriminator through a well-designed spatial cross-attention module. In
this way, our proposed semantic-aware discriminator empowered the SR network to
produce more photo-realistic and pleasing images. Extensive experiments on two
typical tasks, i.e., SR and Real SR have demonstrated the effectiveness of our
proposed methods.
- Abstract（参考訳）: Generative Adversarial Networks (GAN) は画像超解像(SR)タスクの鮮やかなテクスチャを復元するために広く利用されている。
特に、1つの判別器を用いて、SRネットワークは、現実の高品質な画像の分布を敵の訓練方法で学習することができる。
しかし、分布学習は粗い粒度であり、仮想テクスチャに影響され、反直感的な生成結果を引き起こす。
そこで本研究では,画像のセマンティクスを条件として導入することにより,SRネットワークの粒度分布の学習を促す,シンプルで効果的なセマンティクス対応識別器を提案する。
具体的には、よく訓練された意味抽出器から画像のセマンティクスを抽出することを目的とする。
異なる意味論の下では、判別器は実造像を個別かつ適応的に識別することができ、SRネットワークを誘導してよりきめ細かな意味認識テクスチャを学習する。
正確で豊富なセマンティクスを得るために、最近普及したpvms(pretrained vision models)を広範囲なデータセットで活用し、そのセマンティクス機能をよく設計された空間的相互接続モジュールを通じて識別器に組み込む。
このようにして,提案する意味認識判別器は,srネットワークに,より写実的かつ心地よい画像を生成する権限を与えた。
SRとReal SRの2つの典型的な課題に対する大規模な実験により,提案手法の有効性が示された。
関連論文リスト
- Semantic Guided Large Scale Factor Remote Sensing Image Super-resolution with Generative Diffusion Prior [13.148815217684277]
大規模因子超解像(SR)アルゴリズムは、軌道から取得した低解像度(LR)衛星データの最大化に不可欠である。
既存の手法では、鮮明なテクスチャと正しい接地オブジェクトでSR画像を復元する際の課題に直面している。
本稿では,大規模リモートセンシング画像の超解像を実現するための新しいフレームワークであるセマンティックガイド拡散モデル(SGDM)を提案する。
論文 参考訳（メタデータ） (2024-05-11T16:06:16Z) - Beyond Image Super-Resolution for Image Recognition with Task-Driven Perceptual Loss [47.36902705025445]
画像認識のための超解法(SR4IR)は、画像認識性能に有用なSR画像の生成をガイドする。
本稿では,SR4IRが,特定の画像認識タスクに有用なSR画像を生成することで,優れたタスク性能を実現することを実証する。
論文 参考訳（メタデータ） (2024-04-02T06:52:31Z) - CiaoSR: Continuous Implicit Attention-in-Attention Network for
Arbitrary-Scale Image Super-Resolution [158.2282163651066]
本稿ではCiaoSRと呼ばれる連続的な暗黙の注意-注意ネットワークを提案する。
我々は、周辺地域の特徴のアンサンブル重みを学習するために、暗黙の注意ネットワークを明示的に設計する。
我々は、この暗黙の注意ネットワークにスケールアウェアの注意を埋め込んで、追加の非ローカル情報を活用する。
論文 参考訳（メタデータ） (2022-12-08T15:57:46Z) - Effective Image Tampering Localization via Semantic Segmentation Network [0.4297070083645049]
既存の画像法は、精度と堅牢性の低い課題に直面している。
本稿では,ディープセマンティックセグメンテーションネットワークに基づく画像改ざん手法を提案する。
論文 参考訳（メタデータ） (2022-08-29T17:22:37Z) - Deep Semantic Statistics Matching (D2SM) Denoising Network [70.01091467628068]
本稿では,Deep Semantic Statistics Matching (D2SM) Denoising Networkを紹介する。
事前訓練された分類ネットワークの意味的特徴を利用して、意味的特徴空間における明瞭な画像の確率的分布と暗黙的に一致させる。
識別画像のセマンティックな分布を学習することで,ネットワークの認知能力を大幅に向上させることを実証的に見出した。
論文 参考訳（メタデータ） (2022-07-19T14:35:42Z) - Semantic-Aware Generation for Self-Supervised Visual Representation
Learning [116.5814634936371]
セマンティック・アウェア・ジェネレーション(SaGe)は、生成した画像に保存される詳細よりも、よりリッチなセマンティクスを促進する。
SaGeは、ターゲットネットワークをビュー特有の特徴で補完することで、集中的なデータ拡張によって引き起こされるセマンティックな劣化を軽減する。
我々は、ImageNet-1K上でSaGeを実行し、近接検定、線形分類、微視的画像認識を含む5つの下流タスクで事前訓練されたモデルを評価する。
論文 参考訳（メタデータ） (2021-11-25T16:46:13Z) - Global and Local Texture Randomization for Synthetic-to-Real Semantic
Segmentation [40.556020857447535]
GTR(Global Randomization)とLTR(Local Texture Randomization)という2つの単純なテクスチャランダム化機構を提案する。
GTRは、ソース画像のテクスチャを多様なテクスチャスタイルにランダム化する。
LTRは、ソースイメージを部分的にスタイリングするために、多様なローカル領域を生成する。
論文 参考訳（メタデータ） (2021-08-05T05:14:49Z) - Discovering "Semantics" in Super-Resolution Networks [54.45509260681529]
超解像(SR)は低レベルの視覚領域の基本的で代表的な課題である。
一般に、SRネットワークから抽出された特徴は特定の意味情報を持たないと考えられている。
SRネットワークで「セマンティック」を見つけることはできますか?
論文 参考訳（メタデータ） (2021-08-01T09:12:44Z) - DDet: Dual-path Dynamic Enhancement Network for Real-World Image
Super-Resolution [69.2432352477966]
実画像超解像(Real-SR)は、実世界の高分解能画像(HR)と低分解能画像(LR)の関係に焦点を当てている。
本稿では,Real-SRのためのデュアルパス動的拡張ネットワーク(DDet)を提案する。
特徴表現のための大規模な畳み込みブロックを積み重ねる従来の手法とは異なり、非一貫性のある画像対を研究するためのコンテンツ認識フレームワークを導入する。
論文 参考訳（メタデータ） (2020-02-25T18:24:51Z) - Joint Deep Learning of Facial Expression Synthesis and Recognition [97.19528464266824]
顔表情の合成と認識を効果的に行うための新しい統合深層学習法を提案する。
提案手法は, 2段階の学習手順を伴い, まず, 表情の異なる顔画像を生成するために, 表情合成生成対向ネットワーク (FESGAN) を事前訓練する。
実画像と合成画像間のデータバイアスの問題を軽減するために,新しい実データ誘導バックプロパゲーション(RDBP)アルゴリズムを用いたクラス内損失を提案する。
論文 参考訳（メタデータ） (2020-02-06T10:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。