論文の概要: Learning Efficient and Effective Trajectories for Differential Equation-based Image Restoration
- arxiv url: http://arxiv.org/abs/2410.04811v1
- Date: Mon, 7 Oct 2024 07:46:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 01:47:52.534654
- Title: Learning Efficient and Effective Trajectories for Differential Equation-based Image Restoration
- Title（参考訳）: 微分方程式に基づく画像復元のための学習効率と効果的な軌跡
- Authors: Zhiyu Zhu, Jinhui Hou, Hui Liu, Huanqiang Zeng, Junhui Hou,
- Abstract要約: 我々は, この手法の軌道最適化を再構築し, 復元品質と効率の両立に焦点をあてる。
本稿では,複雑な経路を適応可能なサイズで複数の管理可能なステップに合理化するためのコスト対応トラジェクトリー蒸留法を提案する。
実験では提案手法の有意な優位性を示し, 最先端手法よりも最大2.1dBのPSNR改善を実現した。
- 参考スコア（独自算出の注目度）: 59.744840744491945
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The differential equation-based image restoration approach aims to establish learnable trajectories connecting high-quality images to a tractable distribution, e.g., low-quality images or a Gaussian distribution. In this paper, we reformulate the trajectory optimization of this kind of method, focusing on enhancing both reconstruction quality and efficiency. Initially, we navigate effective restoration paths through a reinforcement learning process, gradually steering potential trajectories toward the most precise options. Additionally, to mitigate the considerable computational burden associated with iterative sampling, we propose cost-aware trajectory distillation to streamline complex paths into several manageable steps with adaptable sizes. Moreover, we fine-tune a foundational diffusion model (FLUX) with 12B parameters by using our algorithms, producing a unified framework for handling 7 kinds of image restoration tasks. Extensive experiments showcase the significant superiority of the proposed method, achieving a maximum PSNR improvement of 2.1 dB over state-of-the-art methods, while also greatly enhancing visual perceptual quality. Project page: \url{https://zhu-zhiyu.github.io/FLUX-IR/}.
- Abstract（参考訳）: 微分方程式に基づく画像復元手法は,高品質な画像とトラクタブルな画像,例えば低品質な画像,ガウス分布を接続する学習可能な軌跡を確立することを目的としている。
本稿では, この手法の軌道最適化を改良し, 復元品質と効率の両立に焦点をあてる。
当初、我々は強化学習プロセスを通じて効果的な修復経路をナビゲートし、より正確な選択肢に向けて徐々に潜在的な軌道を操る。
さらに,反復サンプリングに伴うかなりの計算負担を軽減するため,複雑な経路を適応可能なサイズで複数の管理可能なステップに合理化するためのコスト対応トラジェクトリー蒸留を提案する。
さらに,このアルゴリズムを用いて基礎拡散モデル (FLUX) を12Bパラメータで微調整し,7種類の画像復元タスクを処理するための統一的な枠組みを構築した。
広汎な実験により提案手法の有意な優位性を示し,2.1dBのPSNR改善を実現するとともに,視覚の知覚品質を大幅に向上させた。
プロジェクトページ: \url{https://zhu-zhiyu.github.io/FLUX-IR/}。
関連論文リスト
- Realistic Extreme Image Rescaling via Generative Latent Space Learning [51.85790402171696]
極端画像再スケーリングのためのLatent Space Based Image Rescaling (LSBIR) という新しいフレームワークを提案する。
LSBIRは、訓練済みのテキスト-画像拡散モデルによって学習された強力な自然画像の先行を効果的に活用し、リアルなHR画像を生成する。
第1段階では、擬似非可逆エンコーダデコーダは、HR画像の潜在特徴とターゲットサイズのLR画像との双方向マッピングをモデル化する。
第2段階では、第1段階からの再構成された特徴を事前訓練された拡散モデルにより洗練し、より忠実で視覚的に喜ぶ詳細を生成する。
論文 参考訳（メタデータ） (2024-08-17T09:51:42Z) - Mitigating Data Consistency Induced Discrepancy in Cascaded Diffusion Models for Sparse-view CT Reconstruction [4.227116189483428]
本研究は, 離散性緩和フレームワークを用いた新規なカスケード拡散について紹介する。
潜在空間の低画質画像生成と画素空間の高画質画像生成を含む。
これは、いくつかの推論ステップをピクセル空間から潜在空間に移すことによって計算コストを最小化する。
論文 参考訳（メタデータ） (2024-03-14T12:58:28Z) - Efficient Diffusion Model for Image Restoration by Residual Shifting [63.02725947015132]
本研究では,画像復元のための新しい,効率的な拡散モデルを提案する。
提案手法は,推論中の後処理の高速化を回避し,関連する性能劣化を回避する。
提案手法は,3つの古典的IRタスクにおける現在の最先端手法よりも優れた,あるいは同等の性能を実現する。
論文 参考訳（メタデータ） (2024-03-12T05:06:07Z) - Adaptive Image Registration: A Hybrid Approach Integrating Deep Learning
and Optimization Functions for Enhanced Precision [13.242184146186974]
本稿では,ディープニューラルネットワークと最適化に基づく画像登録のための単一のフレームワークを提案する。
また, 実験データの最大1.6%の改善と, 同じ推定時間を維持しつつ, 変形場平滑化における1.0%の性能向上を示す。
論文 参考訳（メタデータ） (2023-11-27T02:48:06Z) - Deep Equilibrium Diffusion Restoration with Parallel Sampling [120.15039525209106]
拡散モデルに基づく画像復元(IR)は、拡散モデルを用いて劣化した画像から高品質な(本社)画像を復元し、有望な性能を達成することを目的としている。
既存のほとんどの手法では、HQイメージをステップバイステップで復元するために長いシリアルサンプリングチェーンが必要であるため、高価なサンプリング時間と高い計算コストがかかる。
本研究では,拡散モデルに基づくIRモデルを異なる視点,すなわちDeqIRと呼ばれるDeQ(Deep equilibrium)固定点系で再考することを目的とする。
論文 参考訳（メタデータ） (2023-11-20T08:27:56Z) - Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。
本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
論文 参考訳（メタデータ） (2023-06-01T03:08:28Z) - Self-Supervised Coordinate Projection Network for Sparse-View Computed
Tomography [31.774432128324385]
本研究では,1つのSVシングラムからアーチファクトフリーCT像を再構成する自己監督コーディネートプロジェクションnEtwork(SCOPE)を提案する。
暗黙的ニューラル表現ネットワーク(INR)を用いた類似の問題を解決する最近の研究と比較して、我々の重要な貢献は効果的で単純な再投射戦略である。
論文 参考訳（メタデータ） (2022-09-12T06:14:04Z) - DeepRLS: A Recurrent Network Architecture with Least Squares Implicit
Layers for Non-blind Image Deconvolution [15.986942312624]
非盲点画像デコンボリューションの問題について検討する。
本稿では,画像品質の非常に競争力のある復元結果をもたらす新しい再帰的ネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-10T13:16:51Z) - Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。
両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。
画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
論文 参考訳（メタデータ） (2020-08-25T03:30:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。