論文の概要: RFSR: Improving ISR Diffusion Models via Reward Feedback Learning

• arxiv url: http://arxiv.org/abs/2412.03268v1
• Date: Wed, 04 Dec 2024 12:23:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:08:07.917049
• Title: RFSR: Improving ISR Diffusion Models via Reward Feedback Learning
• Title（参考訳）: RFSR:逆フィードバック学習によるISR拡散モデルの改善
• Authors: Xiaopeng Sun, Qinwei Lin, Yu Gao, Yujie Zhong, Chengjian Feng, Dengjie Li, Zheng Zhao, Jie Hu, Lin Ma,
• Abstract要約: 報奨フィードバック学習を用いたタイムステップ対応トレーニング戦略を提案する。 In the initial denoising stage of ISR diffusion, we applied low- frequency constraints to super- resolution (SR) images。 後半の段階では、報奨フィードバック学習を用いて、SR画像の知覚的および審美的品質を改善する。
• 参考スコア（独自算出の注目度）: 20.627228463213854
• License:
• Abstract: Generative diffusion models (DM) have been extensively utilized in image super-resolution (ISR). Most of the existing methods adopt the denoising loss from DDPMs for model optimization. We posit that introducing reward feedback learning to finetune the existing models can further improve the quality of the generated images. In this paper, we propose a timestep-aware training strategy with reward feedback learning. Specifically, in the initial denoising stages of ISR diffusion, we apply low-frequency constraints to super-resolution (SR) images to maintain structural stability. In the later denoising stages, we use reward feedback learning to improve the perceptual and aesthetic quality of the SR images. In addition, we incorporate Gram-KL regularization to alleviate stylization caused by reward hacking. Our method can be integrated into any diffusion-based ISR model in a plug-and-play manner. Experiments show that ISR diffusion models, when fine-tuned with our method, significantly improve the perceptual and aesthetic quality of SR images, achieving excellent subjective results. Code: https://github.com/sxpro/RFSR
• Abstract（参考訳）: 生成拡散モデル (DM) は画像超解像 (ISR) に広く利用されている。 既存の手法のほとんどは、モデル最適化のためにDDPMの損失を減らしている。 我々は、既存のモデルを微調整するために報酬フィードバック学習を導入することで、生成した画像の品質をさらに向上させることができると仮定する。 本稿では,報奨フィードバック学習を用いたタイムステップ対応トレーニング戦略を提案する。 具体的には、ISR拡散の初期段階において、構造安定性を維持するために低周波制約を超解像(SR)画像に適用する。 後半の段階では、報奨フィードバック学習を用いて、SR画像の知覚的および審美的品質を改善する。 また,報奨ハッキングによるスタイリゼーションを軽減するため,Gram-KL正規化を取り入れた。 本手法は,任意の拡散型ISRモデルにプラグイン・アンド・プレイ方式で組み込むことができる。 実験により,本手法を微調整すると,SR画像の知覚的,審美的品質が有意に向上し,主観的な結果が得られた。 コード:https://github.com/sxpro/RFSR

関連論文リスト

• RAP-SR: RestorAtion Prior Enhancement in Diffusion Models for Realistic Image Super-Resolution [36.137383171027615]
  本稿では,Real-SRの事前学習拡散モデルにおける事前拡張手法であるRAP-SRを紹介する。 まず,QDAISP(Quality-Driven Aesthetic Image Selection Pipeline)を用いたHFAID(High-Fidelity Aesthetic Image dataset)を開発した。 第2に、復元優先分担(RPR)と再生指向分担最適化(ROPO)モジュールを含む再生優先分担フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-10T03:17:38Z)
• Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors [75.24313405671433]
  拡散に基づく画像超解像法 (SR) は、事前訓練された大規模なテキスト・画像拡散モデルを先行として活用することにより、顕著な成功を収めた。 本稿では,拡散型SR手法の効率問題に対処する新しい一段階SRモデルを提案する。 既存の微調整戦略とは異なり、SR専用の劣化誘導低ランク適応 (LoRA) モジュールを設計した。
  論文  参考訳（メタデータ） (2024-09-25T16:15:21Z)
• Burst Super-Resolution with Diffusion Models for Improving Perceptual Quality [12.687175237915019]
  バーストLR画像を受け入れる以前のSRネットワークは、曖昧なSR画像を生成することが知られている決定論的方法で訓練される。 このようなぼやけた画像は知覚的に劣化しているので、我々は鋭い高忠実度境界を再構築することを目指している。 一方,提案手法では,初期バーストSR画像の再構成にバーストLR特性を用いる。
  論文  参考訳（メタデータ） (2024-03-28T13:58:05Z)
• Denoising Autoregressive Representation Learning [13.185567468951628]
  DARLはデコーダのみのトランスフォーマーを用いて,画像パッチの自動回帰予測を行う。 提案手法では, 適応型ノイズスケジュールを用いて学習表現を改良し, より大規模なモデルでより長い訓練を行えることを示す。
  論文  参考訳（メタデータ） (2024-03-08T10:19:00Z)
• Reconstruct-and-Generate Diffusion Model for Detail-Preserving Image Denoising [16.43285056788183]
  再構成・生成拡散モデル(Reconstruct-and-Generate Diffusion Model, RnG)と呼ばれる新しい手法を提案する。 提案手法は, 再構成型復調ネットワークを利用して, 基礎となるクリーン信号の大半を復元する。 拡散アルゴリズムを用いて残留する高周波の詳細を生成し、視覚的品質を向上させる。
  論文  参考訳（メタデータ） (2023-09-19T16:01:20Z)
• ACDMSR: Accelerated Conditional Diffusion Models for Single Image Super-Resolution [84.73658185158222]
  本稿では,ACDMSRと呼ばれる拡散モデルに基づく超解像法を提案する。 提案手法は, 決定論的反復分解過程を通じて超解像を行うために, 標準拡散モデルに適応する。 提案手法は,低解像度画像に対してより視覚的に現実的な表現を生成し,現実的なシナリオにおけるその有効性を強調した。
  論文  参考訳（メタデータ） (2023-07-03T06:49:04Z)
• RBSR: Efficient and Flexible Recurrent Network for Burst Super-Resolution [57.98314517861539]
  バースト超解像(BurstSR)は、高解像度(HR)画像を低解像度(LR)画像と雑音画像から再構成することを目的としている。 本稿では,効率よくフレキシブルなリカレントネットワークでフレーム単位のキューを融合させることを提案する。
  論文  参考訳（メタデータ） (2023-06-30T12:14:13Z)
• Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
  拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。 本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T03:08:28Z)
• Frequency Consistent Adaptation for Real World Super Resolution [64.91914552787668]
  実シーンにスーパーリゾリューション(SR)法を適用する際に周波数領域の整合性を保証する新しい周波数一貫性適応(FCA)を提案する。 監視されていない画像から劣化カーネルを推定し、対応するLow-Resolution (LR)画像を生成する。 ドメイン一貫性のあるLR-HRペアに基づいて、容易に実装可能な畳み込みニューラルネットワーク(CNN)SRモデルを訓練する。
  論文  参考訳（メタデータ） (2020-12-18T08:25:39Z)
• Characteristic Regularisation for Super-Resolving Face Images [81.84939112201377]
  既存の顔画像超解像法(SR)は、主に人工的にダウンサンプリングされた低解像度(LR)画像の改善に焦点を当てている。 従来の非教師なしドメイン適応(UDA)手法は、未ペアの真のLRとHRデータを用いてモデルをトレーニングすることでこの問題に対処する。 これにより、視覚的特徴を構成することと、画像の解像度を高めることの2つのタスクで、モデルをオーバーストレッチする。 従来のSRモデルとUDAモデルの利点を結合する手法を定式化する。
  論文  参考訳（メタデータ） (2019-12-30T16:27:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。