論文の概要: Re-boosting Self-Collaboration Parallel Prompt GAN for Unsupervised Image Restoration

• arxiv url: http://arxiv.org/abs/2408.09241v1
• Date: Sat, 17 Aug 2024 16:26:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 21:39:37.408402
• Title: Re-boosting Self-Collaboration Parallel Prompt GAN for Unsupervised Image Restoration
• Title（参考訳）: 教師なし画像復元のための自己協調型並列プロンプトGAN
• Authors: Xin Lin, Yuyan Zhou, Jingtong Yue, Chao Ren, Kelvin C. K. Chan, Lu Qi, Ming-Hsuan Yang,
• Abstract要約: GAN(Generative Adversarial Network)に基づく教師なし復元アプローチは、ペアデータセットを必要としない、有望なソリューションを提供する。 しかし、これらの GAN ベースのアプローチは、従来の教師なし GAN ベースのフレームワークの性能を超えるのに苦労している。 本稿では,既存の修復モデルに対する自己協力戦略を提案する。
• 参考スコア（独自算出の注目度）: 63.37145159948982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised restoration approaches based on generative adversarial networks (GANs) offer a promising solution without requiring paired datasets. Yet, these GAN-based approaches struggle to surpass the performance of conventional unsupervised GAN-based frameworks without significantly modifying model structures or increasing the computational complexity. To address these issues, we propose a self-collaboration (SC) strategy for existing restoration models. This strategy utilizes information from the previous stage as feedback to guide subsequent stages, achieving significant performance improvement without increasing the framework's inference complexity. The SC strategy comprises a prompt learning (PL) module and a restorer ($Res$). It iteratively replaces the previous less powerful fixed restorer $\overline{Res}$ in the PL module with a more powerful $Res$. The enhanced PL module generates better pseudo-degraded/clean image pairs, leading to a more powerful $Res$ for the next iteration. Our SC can significantly improve the $Res$'s performance by over 1.5 dB without adding extra parameters or computational complexity during inference. Meanwhile, existing self-ensemble (SE) and our SC strategies enhance the performance of pre-trained restorers from different perspectives. As SE increases computational complexity during inference, we propose a re-boosting module to the SC (Reb-SC) to improve the SC strategy further by incorporating SE into SC without increasing inference time. This approach further enhances the restorer's performance by approximately 0.3 dB. Extensive experimental results on restoration tasks demonstrate that the proposed model performs favorably against existing state-of-the-art unsupervised restoration methods. Source code and trained models are publicly available at: \url{https://github.com/linxin0/RSCP2GAN}.
• Abstract（参考訳）: GAN(Generative Adversarial Network)に基づく教師なし復元アプローチは、ペアデータセットを必要としない、有望なソリューションを提供する。 しかし、これらの GAN ベースのアプローチは、モデル構造を著しく変更したり、計算複雑性を増大させることなく、従来の教師なし GAN ベースのフレームワークの性能を超えるのに苦労する。 これらの課題に対処するため,既存の修復モデルに対する自己協力戦略を提案する。 この戦略は、フレームワークの推論複雑性を増大させることなく、後続のステージをガイドするフィードバックとして、前のステージの情報を活用する。 SC戦略は、プロンプトラーニング(PL)モジュールとリストラ($Res$)から構成される。 PLモジュールの以前のより強力な固定リストアである$\overline{Res}$を、より強力な$Res$で繰り返し置き換える。 拡張されたPLモジュールは、より優れた擬似劣化/クリーンなイメージペアを生成し、次のイテレーションでより強力な$Res$をもたらす。 我々のSCは推論中に余分なパラメータや計算複雑性を加えることなく、$Res$のパフォーマンスを1.5dB以上向上させることができる。 一方、既存のセルフアンサンブル(SE)とSC戦略は、異なる視点から事前学習したリストラの性能を向上させる。 推論中にSEが計算複雑性を増大させるにつれて、推論時間を増やすことなくSEをSCに組み込むことでSC戦略をさらに改善するため、SC(Reb-SC)の再起動モジュールを提案する。 このアプローチにより、復元器の性能はおよそ0.3dB向上する。 復元作業に関する大規模な実験結果から,提案手法は既存の非教師なし修復法に対して良好に機能することが示された。 ソースコードとトレーニングされたモデルは、以下で公開されている。

関連論文リスト

• LoRA-IR: Taming Low-Rank Experts for Efficient All-in-One Image Restoration [62.3751291442432]
  高速なオールインワン画像復元を実現するために,コンパクトな低ランクの専門家を動的に活用する,フレキシブルなフレームワークであるLoRA-IRを提案する。 LoRA-IRは、劣化誘導前訓練とパラメータ効率の良い微調整の2つの訓練段階で構成されている。 実験により、LoRA-IRは計算効率を維持しつつ、14のIRタスクと29のベンチマークでSOTA性能を達成することが示された。
  論文  参考訳（メタデータ） (2024-10-20T13:00:24Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Chain-of-Restoration: Multi-Task Image Restoration Models are Zero-Shot Step-by-Step Universal Image Restorers [53.298698981438]
  これは、モデルを一連の劣化ベースでトレーニングし、これらのベースがゼロショットで構成できる可能性のある劣化を除去する、新しいタスク設定である。 段階的に問題に対処するLLMに着想を得たCoR(Chain-of-Thought)を提案する。 CoRは、未知の複合劣化を段階的に除去するようモデルに指示する。
  論文  参考訳（メタデータ） (2024-10-11T10:21:42Z)
• Greedy Output Approximation: Towards Efficient Structured Pruning for LLMs Without Retraining [16.026565606764954]
  我々は Transformer-based large language model (LLMs) のプルーニングプロセスを単純化する。 出力近似の最適化から導いた2つの推論対応プルーニング基準を提案する。 また,モデル再トレーニングを伴わずにプルーニングエラーを軽減するための2段階再構成手法も導入した。
  論文  参考訳（メタデータ） (2024-07-26T23:53:59Z)
• A-SDM: Accelerating Stable Diffusion through Model Assembly and Feature Inheritance Strategies [51.7643024367548]
  安定拡散モデルは、テキスト・ツー・イメージ(T2I)と画像・ツー・イメージ(I2I)生成のための一般的かつ効果的なモデルである。 本研究では、SDMにおける冗長計算の削減と、チューニング不要とチューニング不要の両方の手法によるモデルの最適化に焦点をあてる。
  論文  参考訳（メタデータ） (2024-05-31T21:47:05Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• MsDC-DEQ-Net: Deep Equilibrium Model (DEQ) with Multi-scale Dilated Convolution for Image Compressive Sensing (CS) [0.0]
  圧縮センシング(CS)は、従来のサンプリング法よりも少ない測定値を用いてスパース信号の回復を可能にする技術である。 我々はCSを用いた自然画像再構成のための解釈可能かつ簡潔なニューラルネットワークモデルを構築した。 MsDC-DEQ-Netと呼ばれるこのモデルは、最先端のネットワークベースの手法と比較して、競争力のある性能を示す。
  論文  参考訳（メタデータ） (2024-01-05T16:25:58Z)
• Iterative Reweighted Least Squares Networks With Convergence Guarantees for Solving Inverse Imaging Problems [12.487990897680422]
  解析に基づく画像正規化における画像再構成タスクの新しい最適化手法を提案する。 そのような正規化子は $ell_pp$-vector および $mathcalS_pp$ Schatten-matrix 準ノルムの重み付き拡張に対応するポテンシャル関数を用いてパラメータ化する。 提案する最小化戦略の収束保証により,メモリ効率の高い暗黙バックプロパゲーション方式により,そのような最適化を成功させることができることを示す。
  論文  参考訳（メタデータ） (2023-08-10T17:59:46Z)
• Robust Deep Compressive Sensing with Recurrent-Residual Structural Constraints [0.0]
  既存のディープラーニング(CS)手法は、適応的なオンライン最適化を無視するか、コストのかかる反復的な再構築に依存している。 この研究は、R$2$CS-NETと呼ばれる再帰的構造制約を持つ新しいイメージCSフレームワークを探索する。 適応型オンライン最適化を効率的にブリッジする最初のディープCSフレームワークとして、R$2$CS-NETは、オンライン最適化の堅牢性とディープラーニング手法の効率性と非線形能力を統合する。
  論文  参考訳（メタデータ） (2022-07-15T05:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。