論文の概要: Efficient Image Restoration through Low-Rank Adaptation and Stable Diffusion XL

• arxiv url: http://arxiv.org/abs/2408.17060v1
• Date: Fri, 30 Aug 2024 07:38:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 16:09:30.453273
• Title: Efficient Image Restoration through Low-Rank Adaptation and Stable Diffusion XL
• Title（参考訳）: 低域適応と安定拡散XLによる効率的な画像復元
• Authors: Haiyang Zhao,
• Abstract要約: 本稿では,2つのローランク適応(LoRA)モジュールとSDXL(Stable Diffusion XL)フレームワークを統合した画像復元モデルSUPIRを提案する。 2600枚の高品質な実世界の画像を収集し、それぞれに詳細な記述文を添付し、モデルを訓練する。 提案手法は標準ベンチマークで評価され,高ピーク信号-雑音比 (PSNR) ,低学習知覚画像パッチ類似度 (LPIPS) ,高構造類似度指数測定 (SSIM) スコアにより,優れた性能を示す。
• 参考スコア（独自算出の注目度）: 2.44755919161855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this study, we propose an enhanced image restoration model, SUPIR, based on the integration of two low-rank adaptive (LoRA) modules with the Stable Diffusion XL (SDXL) framework. Our method leverages the advantages of LoRA to fine-tune SDXL models, thereby significantly improving image restoration quality and efficiency. We collect 2600 high-quality real-world images, each with detailed descriptive text, for training the model. The proposed method is evaluated on standard benchmarks and achieves excellent performance, demonstrated by higher peak signal-to-noise ratio (PSNR), lower learned perceptual image patch similarity (LPIPS), and higher structural similarity index measurement (SSIM) scores. These results underscore the effectiveness of combining LoRA with SDXL for advanced image restoration tasks, highlighting the potential of our approach in generating high-fidelity restored images.
• Abstract（参考訳）: 本研究では,2つのローランク適応 (LoRA) モジュールとSDXL (Stable Diffusion XL) フレームワークを統合した画像復元モデル SUPIR を提案する。 本手法は, SDXLモデルにLoRAの利点を生かし, 画像復元の精度と効率を大幅に向上させる。 2600枚の高品質な実世界の画像を収集し、それぞれに詳細な記述文を添付し、モデルを訓練する。 提案手法は標準ベンチマークで評価され,高ピーク信号-雑音比 (PSNR) ,低学習知覚画像パッチ類似度 (LPIPS) ,高構造類似度指数測定 (SSIM) スコアにより,優れた性能を示す。 これらの結果は,高度な画像復元作業におけるLoRAとSDXLの併用の有効性を裏付けるものであり,高忠実性復元画像の生成におけるアプローチの可能性を強調している。

関連論文リスト

• Advancing Super-Resolution in Neural Radiance Fields via Variational Diffusion Strategies [2.4849437811455797]
  本稿では,ニューラルレンダリングにおけるビュー一貫性超解像(SR)のための拡散誘導フレームワークを提案する。 提案手法は,既存の2次元SRモデルと,変分スコア蒸留(VSD)やLoRAファインチューニングヘルパなどの高度な技術を組み合わせたものである。
  論文  参考訳（メタデータ） (2024-10-22T00:02:26Z)
• Learning Efficient and Effective Trajectories for Differential Equation-based Image Restoration [59.744840744491945]
  我々は, この手法の軌道最適化を再構築し, 復元品質と効率の両立に焦点をあてる。 本稿では,複雑な経路を適応可能なサイズで複数の管理可能なステップに合理化するためのコスト対応トラジェクトリー蒸留法を提案する。 実験では提案手法の有意な優位性を示し, 最先端手法よりも最大2.1dBのPSNR改善を実現した。
  論文  参考訳（メタデータ） (2024-10-07T07:46:08Z)
• When No-Reference Image Quality Models Meet MAP Estimation in Diffusion Latents [92.45867913876691]
  非参照画像品質評価(NR-IQA)モデルは、知覚された画像品質を効果的に定量化することができる。 NR-IQAモデルは、画像強調のための最大後部推定(MAP)フレームワークにプラグイン可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-11T03:35:41Z)
• Hierarchical Similarity Learning for Aliasing Suppression Image Super-Resolution [64.15915577164894]
  エイリアスの影響を抑制するために階層画像超解像ネットワーク(HSRNet)を提案する。 HSRNetは、他の作品よりも定量的かつ視覚的なパフォーマンスを向上し、エイリアスをより効果的に再送信する。
  論文  参考訳（メタデータ） (2022-06-07T14:55:32Z)
• Hierarchical Conditional Flow: A Unified Framework for Image Super-Resolution and Image Rescaling [139.25215100378284]
  画像SRと画像再スケーリングのための統合フレームワークとして階層的条件フロー(HCFlow)を提案する。 HCFlowは、LR画像と残りの高周波成分の分布を同時にモデル化することにより、HRとLR画像ペア間のマッピングを学習する。 さらに性能を高めるために、知覚的損失やGAN損失などの他の損失と、トレーニングで一般的に使用される負の対数類似損失とを組み合わせる。
  論文  参考訳（メタデータ） (2021-08-11T16:11:01Z)
• MASA-SR: Matching Acceleration and Spatial Adaptation for Reference-Based Image Super-Resolution [74.24676600271253]
  本稿では、RefSRのためのMASAネットワークを提案し、これらの問題に対処するために2つの新しいモジュールを設計する。 提案したMatch & extract Moduleは、粗大な対応マッチング方式により計算コストを大幅に削減する。 空間適応モジュールは、LR画像とRef画像の分布の差を学習し、Ref特徴の分布を空間適応的にLR特徴の分布に再マップする。
  論文  参考訳（メタデータ） (2021-06-04T07:15:32Z)
• Joint Generative Learning and Super-Resolution For Real-World Camera-Screen Degradation [6.14297871633911]
  現実世界の単一画像超解像(SISR)タスクでは、低解像度画像はより複雑な劣化に苦しむ。 本稿では,カメラ画面の劣化に着目し,実世界のデータセット(Cam-ScreenSR)を構築する。 まず、ダウンサンプリング劣化GAN(DD-GAN)をトレーニングし、その分解をモデル化し、より多様なLR画像を生成する。 そして、二重残差チャネルアテンションネットワーク(DuRCAN)がSR画像の復元を学習する。
  論文  参考訳（メタデータ） (2020-08-01T07:10:13Z)
• Characteristic Regularisation for Super-Resolving Face Images [81.84939112201377]
  既存の顔画像超解像法(SR)は、主に人工的にダウンサンプリングされた低解像度(LR)画像の改善に焦点を当てている。 従来の非教師なしドメイン適応(UDA)手法は、未ペアの真のLRとHRデータを用いてモデルをトレーニングすることでこの問題に対処する。 これにより、視覚的特徴を構成することと、画像の解像度を高めることの2つのタスクで、モデルをオーバーストレッチする。 従来のSRモデルとUDAモデルの利点を結合する手法を定式化する。
  論文  参考訳（メタデータ） (2019-12-30T16:27:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。