論文の概要: Generalizing to Out-of-Sample Degradations via Model Reprogramming

• arxiv url: http://arxiv.org/abs/2403.05886v1
• Date: Sat, 9 Mar 2024 11:56:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 11:50:48.570607
• Title: Generalizing to Out-of-Sample Degradations via Model Reprogramming
• Title（参考訳）: モデル再プログラミングによるサンプル外劣化の一般化
• Authors: Runhua Jiang, Yahong Han
• Abstract要約: アウト・オブ・サンプル修復(OSR)タスクは、アウト・オブ・サンプル劣化を処理可能な復元モデルを開発することを目的としている。 本稿では,量子力学と波動関数によるサンプル外劣化を変換するモデル再プログラミングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 29.56470202794348
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing image restoration models are typically designed for specific tasks and struggle to generalize to out-of-sample degradations not encountered during training. While zero-shot methods can address this limitation by fine-tuning model parameters on testing samples, their effectiveness relies on predefined natural priors and physical models of specific degradations. Nevertheless, determining out-of-sample degradations faced in real-world scenarios is always impractical. As a result, it is more desirable to train restoration models with inherent generalization ability. To this end, this work introduces the Out-of-Sample Restoration (OSR) task, which aims to develop restoration models capable of handling out-of-sample degradations. An intuitive solution involves pre-translating out-of-sample degradations to known degradations of restoration models. However, directly translating them in the image space could lead to complex image translation issues. To address this issue, we propose a model reprogramming framework, which translates out-of-sample degradations by quantum mechanic and wave functions. Specifically, input images are decoupled as wave functions of amplitude and phase terms. The translation of out-of-sample degradation is performed by adapting the phase term. Meanwhile, the image content is maintained and enhanced in the amplitude term. By taking these two terms as inputs, restoration models are able to handle out-of-sample degradations without fine-tuning. Through extensive experiments across multiple evaluation cases, we demonstrate the effectiveness and flexibility of our proposed framework. Our codes are available at \href{https://github.com/ddghjikle/Out-of-sample-restoration}{Github}.
• Abstract（参考訳）: 既存の画像復元モデルは、通常、特定のタスクのために設計され、トレーニング中に遭遇しないサンプル外劣化を一般化するのに苦労する。 ゼロショット法は、テストサンプルのモデルパラメータを微調整することでこの制限に対処できるが、その有効性は、事前定義された自然前処理と特定の劣化の物理モデルに依存する。 それでも、現実のシナリオで直面するサンプル外劣化を決定することは、常に非現実的です。 結果として,本質的な一般化能力を持つ復元モデルを訓練することが望ましい。 この目的のために, サンプル外劣化を処理可能な復元モデルを開発することを目的とした, サンプル外復元(OSR)タスクを導入する。 直感的な解決策は、サンプル外劣化を既知の復元モデルの劣化に事前翻訳することである。 しかし、画像空間で直接翻訳することは複雑な画像翻訳の問題につながる可能性がある。 この問題に対処するために,量子力学および波動関数によるサンプル外劣化を翻訳するモデル再プログラミングフレームワークを提案する。 具体的には、入力画像は振幅および位相項の波動関数として分離される。 位相項を適応させることにより、サンプル外劣化の翻訳を行う。 一方、振幅項では、画像内容を維持して拡張する。 これら2つの用語を入力とすることで、復元モデルは微調整なしでサンプル外劣化を処理できる。 複数の評価事例にわたる広範な実験を通じて,提案手法の有効性と柔軟性を実証する。 私たちのコードは、 \href{https://github.com/ddghjikle/Out-of-sample-restoration}{Github}で利用可能です。

関連論文リスト

• Frequency-Guided Posterior Sampling for Diffusion-Based Image Restoration [32.50204554102937]
  本稿では,既存の拡散型修復法に対する簡単な修正を提案する。 本手法では,周波数領域における時間変化の少ない低域通過フィルタを提案する。 本稿では,その基礎となるデータ分布に基づいて,この周波数スケジュールの適応カリキュラムを開発する。
  論文  参考訳（メタデータ） (2024-11-22T18:31:02Z)
• Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
  拡散モデルは、大規模な生成画像モデルの分野を支配してきた。 本研究では,大規模な事前学習拡散モデルにおける高速拘束サンプリングのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• Towards Unsupervised Blind Face Restoration using Diffusion Prior [12.69610609088771]
  ブラインド顔復元法は、教師付き学習による大規模合成データセットの訓練において、顕著な性能を示した。 これらのデータセットは、手作りの画像分解パイプラインで、低品質の顔イメージをシミュレートすることによって生成されることが多い。 本稿では, 入力画像の集合のみを用いて, 劣化が不明で, 真理の目標がない場合にのみ, 復元モデルの微調整を行うことにより, この問題に対処する。 我々の最良のモデルは、合成と実世界の両方のデータセットの最先端の結果も達成します。
  論文  参考訳（メタデータ） (2024-10-06T20:38:14Z)
• Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
  拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。 我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。 また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
  論文  参考訳（メタデータ） (2024-07-04T05:01:10Z)
• Photo-Realistic Image Restoration in the Wild with Controlled Vision-Language Models [14.25759541950917]
  この研究は、能動的視覚言語モデルと合成分解パイプラインを活用して、野生(ワイルドIR)における画像復元を学習する。 我々の基底拡散モデルは画像復元SDE(IR-SDE)である。
  論文  参考訳（メタデータ） (2024-04-15T12:34:21Z)
• Deep Equilibrium Diffusion Restoration with Parallel Sampling [120.15039525209106]
  拡散モデルに基づく画像復元(IR)は、拡散モデルを用いて劣化した画像から高品質な(本社)画像を復元し、有望な性能を達成することを目的としている。 既存のほとんどの手法では、HQイメージをステップバイステップで復元するために長いシリアルサンプリングチェーンが必要であるため、高価なサンプリング時間と高い計算コストがかかる。 本研究では,拡散モデルに基づくIRモデルを異なる視点,すなわちDeqIRと呼ばれるDeQ(Deep equilibrium)固定点系で再考することを目的とする。
  論文  参考訳（メタデータ） (2023-11-20T08:27:56Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration [66.01846902242355]
  ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。 トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。 本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
  論文  参考訳（メタデータ） (2023-03-13T06:05:18Z)
• Invertible Rescaling Network and Its Extensions [118.72015270085535]
  本研究では,新たな視点から双方向の劣化と復元をモデル化する,新しい可逆的枠組みを提案する。 我々は、有効な劣化画像を生成し、失われたコンテンツの分布を変換する可逆モデルを開発する。 そして、ランダムに描画された潜在変数とともに、生成された劣化画像に逆変換を適用することにより、復元可能とする。
  論文  参考訳（メタデータ） (2022-10-09T06:58:58Z)
• Anytime Sampling for Autoregressive Models via Ordered Autoencoding [88.01906682843618]
  自動回帰モデルは画像生成や音声生成などのタスクに広く使われている。 これらのモデルのサンプリングプロセスは割り込みを許さず、リアルタイムの計算資源に適応できない。 いつでもサンプリングできる新しい自動回帰モデルファミリーを提案します。
  論文  参考訳（メタデータ） (2021-02-23T05:13:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。