論文の概要: PnP-Flow: Plug-and-Play Image Restoration with Flow Matching
- arxiv url: http://arxiv.org/abs/2410.02423v1
- Date: Thu, 3 Oct 2024 12:13:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 03:20:51.347893
- Title: PnP-Flow: Plug-and-Play Image Restoration with Flow Matching
- Title（参考訳）: PnP-Flow:フローマッチングによるプラグアンドプレイ画像復元
- Authors: Ségolène Martin, Anne Gagneux, Paul Hagemann, Gabriele Steidl,
- Abstract要約: 本稿では,逆画像問題の解法であるPlug-and-Play Flow Matchingを提案する。
我々は,デノイング,スーパーレゾリューション,インペインティングのタスクにおける性能を評価した。
- 参考スコア（独自算出の注目度）: 2.749898166276854
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: In this paper, we introduce Plug-and-Play (PnP) Flow Matching, an algorithm for solving imaging inverse problems. PnP methods leverage the strength of pre-trained denoisers, often deep neural networks, by integrating them in optimization schemes. While they achieve state-of-the-art performance on various inverse problems in imaging, PnP approaches face inherent limitations on more generative tasks like inpainting. On the other hand, generative models such as Flow Matching pushed the boundary in image sampling yet lack a clear method for efficient use in image restoration. We propose to combine the PnP framework with Flow Matching (FM) by defining a time-dependent denoiser using a pre-trained FM model. Our algorithm alternates between gradient descent steps on the data-fidelity term, reprojections onto the learned FM path, and denoising. Notably, our method is computationally efficient and memory-friendly, as it avoids backpropagation through ODEs and trace computations. We evaluate its performance on denoising, super-resolution, deblurring, and inpainting tasks, demonstrating superior results compared to existing PnP algorithms and Flow Matching based state-of-the-art methods.
- Abstract（参考訳）: 本稿では,画像逆問題解決アルゴリズムであるPlug-and-Play (PnP) Flow Matchingを提案する。
PnP法は、最適化スキームにそれらを統合することにより、事前訓練されたデノイザ(しばしばディープニューラルネットワーク)の強度を利用する。
画像における様々な逆問題に対して最先端のパフォーマンスを達成する一方で、PnPアプローチは、インペイントのようなより生成的なタスクに固有の制限に直面している。
一方、フローマッチングのような生成モデルは、画像サンプリングにおいて境界を押し上げたが、画像復元において効率的に使うための明確な方法が欠けていた。
本稿では,PnP フレームワークと Flow Matching (FM) を組み合わせて,事前学習した FM モデルを用いて時間依存デノイザを定義することを提案する。
提案アルゴリズムは,データ忠実度項の勾配降下ステップ,学習したFMパスへの再投影,およびデノイングを交互に行う。
特に,本手法は,ODEやトレース計算によるバックプロパゲーションを回避するため,計算効率が高く,メモリフレンドリーである。
我々は,従来のPnPアルゴリズムやFlow Matchingに基づく最先端手法と比較して,その性能評価を行い,性能評価を行った。
関連論文リスト
- Plug-and-Play image restoration with Stochastic deNOising REgularization [8.678250057211368]
SNORE(Denoising Regularization)と呼ばれる新しいフレームワークを提案する。
SNOREは、適切なレベルのノイズのある画像のみにデノイザを適用する。
これは明示的な正則化に基づいており、逆問題を解決するための降下につながる。
論文 参考訳（メタデータ） (2024-02-01T18:05:47Z) - Gradpaint: Gradient-Guided Inpainting with Diffusion Models [71.47496445507862]
Denoising Diffusion Probabilistic Models (DDPM) は近年,条件付きおよび非条件付き画像生成において顕著な成果を上げている。
我々はGradPaintを紹介し、グローバルな一貫性のあるイメージに向けて世代を操る。
我々は、様々なデータセットで訓練された拡散モデルによく適応し、現在最先端の教師付きおよび教師なしの手法を改善している。
論文 参考訳（メタデータ） (2023-09-18T09:36:24Z) - Poisson-Gaussian Holographic Phase Retrieval with Score-based Image
Prior [19.231581775644617]
本稿では,スコア関数を先行生成関数とする高速化されたWirtinger Flow (AWF) を用いた新しいアルゴリズム"AWFS"を提案する。
PRの対数様関数の勾配を計算し、リプシッツ定数を決定する。
本稿では,提案アルゴリズムの臨界点収束保証を確立する理論的解析を行う。
論文 参考訳（メタデータ） (2023-05-12T18:08:47Z) - Cross-boosting of WNNM Image Denoising method by Directional Wavelet
Packets [2.7648976108201815]
本稿では、方向性準解析ウェーブレットパケット(qWP)と最先端の重み付き核ノルム最小化法(WNNM)を併用した画像復号方式を提案する。
提案手法では, 粗悪な画像においても, エッジや微細なテクスチャパターンをキャプチャするqWPdn機能を結合する。
論文 参考訳（メタデータ） (2022-06-09T11:37:46Z) - Denoising Diffusion Restoration Models [110.1244240726802]
Denoising Diffusion Restoration Models (DDRM) は効率的で教師なしの後方サンプリング手法である。
DDRMの汎用性を、超高解像度、デブロアリング、インペイント、カラー化のためにいくつかの画像データセットに示す。
論文 参考訳（メタデータ） (2022-01-27T20:19:07Z) - Learning Discriminative Shrinkage Deep Networks for Image Deconvolution [122.79108159874426]
本稿では,これらの用語を暗黙的にモデル化する識別的縮小関数を学習することで,効果的に非盲検デコンボリューション手法を提案する。
実験結果から,提案手法は最先端の手法に対して,効率と精度の点で好適に動作することがわかった。
論文 参考訳（メタデータ） (2021-11-27T12:12:57Z) - Learning Spatial and Spatio-Temporal Pixel Aggregations for Image and
Video Denoising [104.59305271099967]
ピクセル集計ネットワークを提示し、画像デノイジングのためのピクセルサンプリングと平均戦略を学びます。
時間空間にまたがるサンプル画素をビデオデノナイズするための画素集約ネットワークを開発した。
本手法は,動的シーンにおける大きな動きに起因する誤認問題を解決することができる。
論文 参考訳（メタデータ） (2021-01-26T13:00:46Z) - TFPnP: Tuning-free Plug-and-Play Proximal Algorithm with Applications to
Inverse Imaging Problems [22.239477171296056]
Plug-and-Play (MM) は非最適化フレームワークであり、例えば、数値アルゴリズムと高度なデノゲーション前処理を組み合わせたものである。
我々は、学習戦略とともに最先端の成果である、より難解な問題に対するいくつかの実践的考察について論じる。
論文 参考訳（メタデータ） (2020-11-18T14:19:30Z) - Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。
両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。
画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
論文 参考訳（メタデータ） (2020-08-25T03:30:53Z) - A Fast Stochastic Plug-and-Play ADMM for Imaging Inverse Problems [5.025654873456756]
本稿では,画像アプリケーションのための効率的なプラグアンドプレイ(逆問題)アルゴリズムを提案する。
提案手法の有効性を最先端手法と比較し,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-06-20T18:03:52Z) - The Power of Triply Complementary Priors for Image Compressive Sensing [89.14144796591685]
本稿では,一対の相補的な旅先を含むLRD画像モデルを提案する。
次に、画像CSのためのRDモデルに基づく新しいハイブリッド・プラグイン・アンド・プレイ・フレームワークを提案する。
そこで,提案したH-based image CS問題の解法として,単純で効果的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-05-16T08:17:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。