論文の概要: Generalizing to Out-of-Sample Degradations via Model Reprogramming
- arxiv url: http://arxiv.org/abs/2403.05886v1
- Date: Sat, 9 Mar 2024 11:56:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 11:50:48.570607
- Title: Generalizing to Out-of-Sample Degradations via Model Reprogramming
- Title(参考訳): モデル再プログラミングによるサンプル外劣化の一般化
- Authors: Runhua Jiang, Yahong Han
- Abstract要約: アウト・オブ・サンプル修復(OSR)タスクは、アウト・オブ・サンプル劣化を処理可能な復元モデルを開発することを目的としている。
本稿では,量子力学と波動関数によるサンプル外劣化を変換するモデル再プログラミングフレームワークを提案する。
- 参考スコア(独自算出の注目度): 29.56470202794348
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing image restoration models are typically designed for specific tasks
and struggle to generalize to out-of-sample degradations not encountered during
training. While zero-shot methods can address this limitation by fine-tuning
model parameters on testing samples, their effectiveness relies on predefined
natural priors and physical models of specific degradations. Nevertheless,
determining out-of-sample degradations faced in real-world scenarios is always
impractical. As a result, it is more desirable to train restoration models with
inherent generalization ability. To this end, this work introduces the
Out-of-Sample Restoration (OSR) task, which aims to develop restoration models
capable of handling out-of-sample degradations. An intuitive solution involves
pre-translating out-of-sample degradations to known degradations of restoration
models. However, directly translating them in the image space could lead to
complex image translation issues. To address this issue, we propose a model
reprogramming framework, which translates out-of-sample degradations by quantum
mechanic and wave functions. Specifically, input images are decoupled as wave
functions of amplitude and phase terms. The translation of out-of-sample
degradation is performed by adapting the phase term. Meanwhile, the image
content is maintained and enhanced in the amplitude term. By taking these two
terms as inputs, restoration models are able to handle out-of-sample
degradations without fine-tuning. Through extensive experiments across multiple
evaluation cases, we demonstrate the effectiveness and flexibility of our
proposed framework. Our codes are available at
\href{https://github.com/ddghjikle/Out-of-sample-restoration}{Github}.
- Abstract(参考訳): 既存の画像復元モデルは、通常、特定のタスクのために設計され、トレーニング中に遭遇しないサンプル外劣化を一般化するのに苦労する。
ゼロショット法は、テストサンプルのモデルパラメータを微調整することでこの制限に対処できるが、その有効性は、事前定義された自然前処理と特定の劣化の物理モデルに依存する。
それでも、現実のシナリオで直面するサンプル外劣化を決定することは、常に非現実的です。
結果として,本質的な一般化能力を持つ復元モデルを訓練することが望ましい。
この目的のために, サンプル外劣化を処理可能な復元モデルを開発することを目的とした, サンプル外復元(OSR)タスクを導入する。
直感的な解決策は、サンプル外劣化を既知の復元モデルの劣化に事前翻訳することである。
しかし、画像空間で直接翻訳することは複雑な画像翻訳の問題につながる可能性がある。
この問題に対処するために,量子力学および波動関数によるサンプル外劣化を翻訳するモデル再プログラミングフレームワークを提案する。
具体的には、入力画像は振幅および位相項の波動関数として分離される。
位相項を適応させることにより、サンプル外劣化の翻訳を行う。
一方、振幅項では、画像内容を維持して拡張する。
これら2つの用語を入力とすることで、復元モデルは微調整なしでサンプル外劣化を処理できる。
複数の評価事例にわたる広範な実験を通じて,提案手法の有効性と柔軟性を実証する。
私たちのコードは、 \href{https://github.com/ddghjikle/Out-of-sample-restoration}{Github}で利用可能です。
関連論文リスト
- BFRFormer: Transformer-based generator for Real-World Blind Face
Restoration [37.77996097891398]
本稿では,トランスフォーマーをベースとしたブラインドフェイス復元手法BFRFormerを提案する。
提案手法は, 合成データセットと実世界の4つのデータセットにおいて, 最先端の手法より優れる。
論文 参考訳(メタデータ) (2024-02-29T02:31:54Z) - Deep Equilibrium Diffusion Restoration with Parallel Sampling [127.31325974698993]
拡散に基づく画像復元法の多くは、HQイメージを段階的に復元するために長いシリアルサンプリングチェーンを必要とする。
拡散型IRモデルにおけるサンプリングチェーン全体をモデル化して解析解を導出する。
単イメージサンプリングを並列に行うことができ、トレーニングなしでHQイメージを復元することができます。
論文 参考訳(メタデータ) (2023-11-20T08:27:56Z) - Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional
Image Synthesis [62.07413805483241]
Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。
塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
論文 参考訳(メタデータ) (2023-09-30T02:03:22Z) - DR2: Diffusion-based Robust Degradation Remover for Blind Face
Restoration [66.01846902242355]
ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。
トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。
本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
論文 参考訳(メタデータ) (2023-03-13T06:05:18Z) - Invertible Rescaling Network and Its Extensions [118.72015270085535]
本研究では,新たな視点から双方向の劣化と復元をモデル化する,新しい可逆的枠組みを提案する。
我々は、有効な劣化画像を生成し、失われたコンテンツの分布を変換する可逆モデルを開発する。
そして、ランダムに描画された潜在変数とともに、生成された劣化画像に逆変換を適用することにより、復元可能とする。
論文 参考訳(メタデータ) (2022-10-09T06:58:58Z) - Perceptual Image Restoration with High-Quality Priori and Degradation
Learning [28.93489249639681]
本モデルは,復元画像と劣化画像の類似度を測定するのに有効であることを示す。
同時修復・拡張フレームワークは,実世界の複雑な分解型によく一般化する。
論文 参考訳(メタデータ) (2021-03-04T13:19:50Z) - Anytime Sampling for Autoregressive Models via Ordered Autoencoding [88.01906682843618]
自動回帰モデルは画像生成や音声生成などのタスクに広く使われている。
これらのモデルのサンプリングプロセスは割り込みを許さず、リアルタイムの計算資源に適応できない。
いつでもサンプリングできる新しい自動回帰モデルファミリーを提案します。
論文 参考訳(メタデータ) (2021-02-23T05:13:16Z) - Invertible Image Rescaling [118.2653765756915]
Invertible Rescaling Net (IRN) を開発した。
我々は、ダウンスケーリングプロセスにおいて、指定された分布に従う潜在変数を用いて、失われた情報の分布をキャプチャする。
論文 参考訳(メタデータ) (2020-05-12T09:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。