論文の概要: MetaF2N: Blind Image Super-Resolution by Learning Efficient Model Adaptation from Faces

• arxiv url: http://arxiv.org/abs/2309.08113v1
• Date: Fri, 15 Sep 2023 02:45:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-18 16:12:12.570958
• Title: MetaF2N: Blind Image Super-Resolution by Learning Efficient Model Adaptation from Faces
• Title（参考訳）: MetaF2N: 顔からの効率的なモデル適応学習によるブラインド画像の超解像
• Authors: Zhicun Yin, Ming Liu, Xiaoming Li, Hui Yang, Longan Xiao, Wangmeng Zuo
• Abstract要約: メタ学習フレームワークにおいて,自然画像全体に対応するためのモデルパラメータを微調整するメタF2Nという手法を提案する。 復元された顔と接地構造とのギャップを考慮すると,低信頼領域の影響を低減するために,異なる位置における損失重みを適応的に予測するMaskNetを配置する。
• 参考スコア（独自算出の注目度）: 51.42949911178461
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to their highly structured characteristics, faces are easier to recover than natural scenes for blind image super-resolution. Therefore, we can extract the degradation representation of an image from the low-quality and recovered face pairs. Using the degradation representation, realistic low-quality images can then be synthesized to fine-tune the super-resolution model for the real-world low-quality image. However, such a procedure is time-consuming and laborious, and the gaps between recovered faces and the ground-truths further increase the optimization uncertainty. To facilitate efficient model adaptation towards image-specific degradations, we propose a method dubbed MetaF2N, which leverages the contained Faces to fine-tune model parameters for adapting to the whole Natural image in a Meta-learning framework. The degradation extraction and low-quality image synthesis steps are thus circumvented in our MetaF2N, and it requires only one fine-tuning step to get decent performance. Considering the gaps between the recovered faces and ground-truths, we further deploy a MaskNet for adaptively predicting loss weights at different positions to reduce the impact of low-confidence areas. To evaluate our proposed MetaF2N, we have collected a real-world low-quality dataset with one or multiple faces in each image, and our MetaF2N achieves superior performance on both synthetic and real-world datasets. Source code, pre-trained models, and collected datasets are available at https://github.com/yinzhicun/MetaF2N.
• Abstract（参考訳）: 特徴が高度に構造化されているため、視覚障害者の顔は自然界よりも復元が容易である。 そこで,低品質かつ復元された顔対から画像の劣化表現を抽出することができる。 分解表現を用いて、現実的な低画質画像を合成して、現実世界の低画質画像の超解像モデルを微調整することができる。 しかし、そのような手順は時間と労力がかかり、回収された顔と地面の間の隙間は最適化の不確実性をさらに高める。 画像特異的な劣化に対する効率的なモデル適応を容易にするために,メタラーニングフレームワークにおける自然画像全体に適応するためのモデルパラメータを微調整するために含有顔を利用するmetaf2nという手法を提案する。 そのため、MetaF2Nでは劣化抽出と低画質画像合成工程が回避され、良好な性能を得るためには1つの微調整ステップしか必要としない。 得られた顔と接地構造とのギャップを考慮し,各位置における損失重みを適応的に予測するMaskNetを配置し,低信頼領域の影響を低減する。 提案したMetaF2Nを評価するために,各画像に1つないし複数の顔を持つ実世界の低品質データセットを収集した。 ソースコード、事前トレーニングされたモデル、収集されたデータセットはhttps://github.com/yinzhicun/MetaF2N.comで入手できる。

関連論文リスト

• GAURA: Generalizable Approach for Unified Restoration and Rendering of Arbitrary Views [28.47730275628715]
  本稿では,いくつかの劣化条件下で高忠実性新規ビュー合成が可能な一般化可能なニューラルレンダリング手法を提案する。 我々の手法であるGAURAは学習ベースであり、テスト時間シーン固有の最適化を必要としない。
  論文  参考訳（メタデータ） (2024-07-11T06:44:37Z)
• The Right Losses for the Right Gains: Improving the Semantic Consistency of Deep Text-to-Image Generation with Distribution-Sensitive Losses [0.35898124827270983]
  本稿では,2つの損失関数の新たな組み合わせであるフェイク・ツー・フェイク・ツー・フェイク・フェイク・ロスと,フェイク・トゥ・リアル・ロスの対比学習手法を提案する。 このアプローチをSSAGANとAttnGANの2つのベースラインモデルで検証する。 提案手法は,CUBデータセットのスタイルブロックを用いて,AttnGANの定性的な結果を改善することを示す。
  論文  参考訳（メタデータ） (2023-12-18T00:05:28Z)
• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• Improving Pixel-based MIM by Reducing Wasted Modeling Capability [77.99468514275185]
  浅い層から低レベルの特徴を明示的に利用して画素再構成を支援する手法を提案する。 私たちの知る限りでは、等方的アーキテクチャのためのマルチレベル特徴融合を体系的に研究するのは、私たちは初めてです。 提案手法は, 微調整では1.2%, 線形探索では2.8%, セマンティックセグメンテーションでは2.6%など, 大幅な性能向上をもたらす。
  論文  参考訳（メタデータ） (2023-08-01T03:44:56Z)
• From Face to Natural Image: Learning Real Degradation for Blind Image Super-Resolution [72.68156760273578]
  実世界の低品質(LQ)画像の超解像のためのトレーニングペアを設計する。 我々は、劣化認識とコンテンツ非依存の表現を明示的に予測するために、HQとLQの顔画像のペアを入力とする。 次に、これらの実際の劣化表現を顔から自然画像に転送し、劣化したLQ自然画像を合成する。
  論文  参考訳（メタデータ） (2022-10-03T08:09:21Z)
• AdaFace: Quality Adaptive Margin for Face Recognition [56.99208144386127]
  本稿では、損失関数、すなわち画像品質における適応性の別の側面を紹介する。 そこで本稿では,画像品質に基づいて異なる難易度を示す新たな損失関数を提案する。 提案手法は,4つのデータセット上でのSoTA(State-of-the-art)による顔認識性能を向上させる。
  論文  参考訳（メタデータ） (2022-04-03T01:23:41Z)
• SelFSR: Self-Conditioned Face Super-Resolution in the Wild via Flow Field Degradation Network [12.976199676093442]
  野生における顔超解像のための新しいドメイン適応分解ネットワークを提案する。 我々のモデルは,CelebAと実世界の顔データセットの両方で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-12-20T17:04:00Z)
• Efficient texture-aware multi-GAN for image inpainting [5.33024001730262]
  近年のGAN (Generative Adversarial Network) のインペイント手法は顕著に改善されている。 本稿では,性能とレンダリング効率の両方を改善するマルチGANアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-09-30T14:58:03Z)
• Perceptually Optimizing Deep Image Compression [53.705543593594285]
  平均二乗誤差(MSE)と$ell_p$ノルムは、ニューラルネットワークの損失の測定で大きく支配されている。 本稿では,定量的知覚モデルに対して,画像解析ネットワークを最適化するための異なるプロキシ手法を提案する。
  論文  参考訳（メタデータ） (2020-07-03T14:33:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。