論文の概要: Varformer: Adapting VAR's Generative Prior for Image Restoration

• arxiv url: http://arxiv.org/abs/2412.21063v1
• Date: Mon, 30 Dec 2024 16:32:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:05:58.070786
• Title: Varformer: Adapting VAR's Generative Prior for Image Restoration
• Title（参考訳）: Varformer:VARの画像復元にVARのジェネレーティブプライオリティを適用する
• Authors: Siyang Wang, Feng Zhao,
• Abstract要約: 新しい画像生成パラダイムであるVARは、次世代の予測アプローチを適用することで、生成品質の拡散モデルを上回る。 VAR内の複数スケールの潜在表現を復元として定式化し、繊細に設計されたVarFormerフレームワークを前進させる。
• 参考スコア（独自算出の注目度）: 6.0648320320309885
• License:
• Abstract: Generative models trained on extensive high-quality datasets effectively capture the structural and statistical properties of clean images, rendering them powerful priors for transforming degraded features into clean ones in image restoration. VAR, a novel image generative paradigm, surpasses diffusion models in generation quality by applying a next-scale prediction approach. It progressively captures both global structures and fine-grained details through the autoregressive process, consistent with the multi-scale restoration principle widely acknowledged in the restoration community. Furthermore, we observe that during the image reconstruction process utilizing VAR, scale predictions automatically modulate the input, facilitating the alignment of representations at subsequent scales with the distribution of clean images. To harness VAR's adaptive distribution alignment capability in image restoration tasks, we formulate the multi-scale latent representations within VAR as the restoration prior, thus advancing our delicately designed VarFormer framework. The strategic application of these priors enables our VarFormer to achieve remarkable generalization on unseen tasks while also reducing training computational costs. Extensive experiments underscores that our VarFormer outperforms existing multi-task image restoration methods across various restoration tasks.
• Abstract（参考訳）: 大規模な高品質データセットに基づいてトレーニングされた生成モデルは、クリーンな画像の構造的および統計的特性を効果的にキャプチャし、劣化した特徴をクリーンな画像復元に変換する強力な先駆者となる。 新しい画像生成パラダイムであるVARは、次世代の予測アプローチを適用することで、生成品質の拡散モデルを上回る。 自己回帰プロセスを通じて、グローバルな構造と細かな詳細の両方を段階的に捉え、修復コミュニティで広く認められている大規模修復の原則と一致している。 さらに,VARを用いた画像再構成プロセスにおいて,スケール予測が自動的に入力を変調し,その後のスケールでの表現のアライメントとクリーンな画像の分布を容易にする。 画像復元作業におけるVARの適応分布アライメント機能を活用するために,VAR内の複数スケールの潜在表現を事前の復元として定式化し,繊細に設計されたVarFormerフレームワークを前進させる。 これらの事前の戦略的な応用により、VarFormerは、未確認タスクの顕著な一般化を達成でき、同時に、トレーニングの計算コストを削減できる。 我々のVarFormerは、様々な復元タスクで既存のマルチタスクイメージ復元方法よりも優れています。

関連論文リスト

• UIR-LoRA: Achieving Universal Image Restoration through Multiple Low-Rank Adaptation [50.27688690379488]
  既存の統合手法は、マルチタスク学習問題として、多重劣化画像復元を扱う。 本稿では,複数のローランクアダプタ(LoRA)をベースとした汎用画像復元フレームワークを提案する。 本フレームワークは, 学習前の生成モデルを多段劣化復元のための共有コンポーネントとして利用し, 特定の劣化画像復元タスクに転送する。
  論文  参考訳（メタデータ） (2024-09-30T11:16:56Z)
• Taming Generative Diffusion Prior for Universal Blind Image Restoration [4.106012295148947]
  BIR-Dはマルチ誘導ブラインド画像復元を実現することができる。 また、複数の複雑な分解を行うイメージを復元し、実用的な応用を実証することができる。
  論文  参考訳（メタデータ） (2024-08-21T02:19:54Z)
• Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
  拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。 我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。 また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
  論文  参考訳（メタデータ） (2024-07-04T05:01:10Z)
• Boosting Image Restoration via Priors from Pre-trained Models [54.83907596825985]
  我々は、OSFによるターゲット復元ネットワークの復元結果を改善するために、Pre-Train-Guided Refinement Module (PTG-RM)と呼ばれる軽量モジュールを学習する。 PTG-RMは、低照度強化、デラリニング、デブロアリング、デノナイジングなど、様々なタスクにおける様々なモデルの復元性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-03-11T15:11:57Z)
• Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild [57.06779516541574]
  SUPIR (Scaling-UP Image Restoration) は、生成前処理とモデルスケールアップのパワーを利用する、画期的な画像復元手法である。 モデルトレーニングのための2000万の高解像度高画質画像からなるデータセットを収集し、それぞれに記述的テキストアノテーションを付加する。
  論文  参考訳（メタデータ） (2024-01-24T17:58:07Z)
• Parameter Efficient Adaptation for Image Restoration with Heterogeneous Mixture-of-Experts [52.39959535724677]
  画像復元モデルの一般化を改善するための代替手法を提案する。 ローカル,グローバル,チャネル表現ベースをキャプチャするマルチブランチ設計のMixture-of-Experts (MoE) であるAdaptIRを提案する。 我々のAdaptIRは、単一劣化タスクにおける安定した性能を実現し、8時間間、微調整はわずか0.6%のパラメータしか持たず、ハイブリッド劣化タスクにおいて優れる。
  論文  参考訳（メタデータ） (2023-12-12T14:27:59Z)
• Diffusion Models for Image Restoration and Enhancement -- A Comprehensive Survey [96.99328714941657]
  本稿では,近年の拡散モデルに基づく画像復元手法について概観する。 我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。 本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
  論文  参考訳（メタデータ） (2023-08-18T08:40:38Z)
• A Unified Conditional Framework for Diffusion-based Image Restoration [39.418415473235235]
  画像復元のための拡散モデルに基づく統一条件付きフレームワークを提案する。 我々は、軽量なUNetを利用して初期ガイダンスと拡散モデルを予測し、指導の残余を学習する。 そこで本研究では,高解像度画像を扱うために,単純なステップ間パッチ分割方式を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:22:24Z)
• Generative Diffusion Prior for Unified Image Restoration and Enhancement [62.76390152617949]
  既存の画像復元法は、主に自然画像の後方分布を利用する。 教師なしサンプリング方式で後部分布を効果的にモデル化するための生成拡散優先(GDP)を提案する。 GDPは、線形逆問題、非線形問題、ブラインド問題を解くために、プレトレインデノナイジング拡散生成モデル(DDPM)を利用する。
  論文  参考訳（メタデータ） (2023-04-03T16:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。