論文の概要: A Modular Conditional Diffusion Framework for Image Reconstruction

• arxiv url: http://arxiv.org/abs/2411.05993v1
• Date: Fri, 08 Nov 2024 22:11:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:09:31.169138
• Title: A Modular Conditional Diffusion Framework for Image Reconstruction
• Title（参考訳）: 画像再構成のためのモード条件拡散フレームワーク
• Authors: Magauiya Zhussip, Iaroslav Koshelev, Stamatis Lefkimmiatis,
• Abstract要約: 拡散確率モデル(DPM)は近年,様々な視覚的イメージ復元(IR)タスクに利用されている。 我々は,既存の訓練済みの最先端IRネットワークと生成DPMの性能向上を両立させるモジュール拡散確率IRフレームワーク(DP-IR)を提案する。 本研究では, バーストJSD-SR, ダイナミックシーンデブロアリング, 超解像処理の4つのベンチマークで評価を行った。
• 参考スコア（独自算出の注目度）: 3.451075831610783
• License:
• Abstract: Diffusion Probabilistic Models (DPMs) have been recently utilized to deal with various blind image restoration (IR) tasks, where they have demonstrated outstanding performance in terms of perceptual quality. However, the task-specific nature of existing solutions and the excessive computational costs related to their training, make such models impractical and challenging to use for different IR tasks than those that were initially trained for. This hinders their wider adoption, especially by those who lack access to powerful computational resources and vast amount of training data. In this work we aim to address the above issues and enable the successful adoption of DPMs in practical IR-related applications. Towards this goal, we propose a modular diffusion probabilistic IR framework (DP-IR), which allows us to combine the performance benefits of existing pre-trained state-of-the-art IR networks and generative DPMs, while it requires only the additional training of a relatively small module (0.7M params) related to the particular IR task of interest. Moreover, the architecture of the proposed framework allows for a sampling strategy that leads to at least four times reduction of neural function evaluations without suffering any performance loss, while it can also be combined with existing acceleration techniques such as DDIM. We evaluate our model on four benchmarks for the tasks of burst JDD-SR, dynamic scene deblurring, and super-resolution. Our method outperforms existing approaches in terms of perceptual quality while it retains a competitive performance with respect to fidelity metrics.
• Abstract（参考訳）: 拡散確率モデル(DPM)は近年,視覚的品質の観点から優れた性能を示す様々な視覚的イメージ復元(IR)タスクに利用されてきた。 しかし、既存のソリューションのタスク固有の性質と、それらのトレーニングに関連する過剰な計算コストは、これらのモデルを非現実的で、当初トレーニングされたものと異なるIRタスクに使用することを困難にしている。 これにより、特に強力な計算リソースと膨大なトレーニングデータにアクセスできない人々によって、より広範な採用を妨げる。 本研究の目的は、上記の課題に対処し、実用的なIR関連アプリケーションにおけるDPMの採用を成功させることである。 この目標に向けて,既存のトレーニング済みの最先端IRネットワークと生成DPMの性能を両立させるモジュール拡散確率IRフレームワーク (DP-IR) を提案し,また,特定のIRタスクに関連する比較的小さなモジュール (0.7Mparams) の追加トレーニングのみを必要とする。 さらに、提案フレームワークのアーキテクチャにより、DDIMなどの既存の加速技術と組み合わせることで、性能損失を伴わずに、神経機能評価の少なくとも4倍の削減につながるサンプリング戦略を実現することができる。 本研究では, バーストJSD-SR, ダイナミックシーンデブロアリング, 超解像処理の4つのベンチマークで評価を行った。 本手法は,忠実度指標に対する競争性能を維持しながら,知覚的品質の観点から既存手法よりも優れる。

関連論文リスト

• Reprogramming Distillation for Medical Foundation Models [37.52464627899668]
  我々はリプログラミング蒸留(RD)と呼ばれる新しいフレームワークを提案する。 RDはファンデーションモデルの本来の機能空間を再プログラミングし、下流のシナリオとより関係があるようにします。 RDは従来のPEFT法やKD法よりも優れた性能を実現している。
  論文  参考訳（メタデータ） (2024-07-09T02:17:51Z)
• Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling [2.91204440475204]
  拡散確率モデル(DPM)は、深層生成モデルの強力なクラスとして登場した。 それらは、サンプル生成中にシーケンシャルなデノイングステップに依存している。 モデルアーキテクチャに直接位相を分解する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-31T08:19:44Z)
• AdaIR: Exploiting Underlying Similarities of Image Restoration Tasks with Adapters [57.62742271140852]
  AdaIRは、パフォーマンスを犠牲にすることなく、低コストで効率的なトレーニングを可能にする新しいフレームワークである。 AdaIRは軽量でタスク固有のモジュールのトレーニングのみを必要とし、より効率的なストレージとトレーニング体制を確保する。
  論文  参考訳（メタデータ） (2024-04-17T15:31:06Z)
• Unsupervised Solution Operator Learning for Mean-Field Games via Sampling-Invariant Parametrizations [7.230928145936957]
  我々はMFGソリューション演算子を学習するための新しいフレームワークを開発する。 我々のモデルはMFGインスタンスを入力として取り出し、1つのフォワードパスで解を出力する。 離散化フリーであり、高次元MFGの学習演算子に適している。
  論文  参考訳（メタデータ） (2024-01-27T19:07:49Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly Detection [65.24854366973794]
  ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。 本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。 我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
  論文  参考訳（メタデータ） (2023-10-18T02:59:57Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• ASR: Attention-alike Structural Re-parameterization [53.019657810468026]
  本稿では,アテンション機構の有効性を享受しながら,与えられたネットワークに対してSRPを実現するための,シンプルなアテンション型構造的再パラメータ化(ASR)を提案する。 本稿では,統計的観点から広範囲にわたる実験を行い,Stripe Observationという興味深い現象を発見し,チャネル注意値が訓練中に一定のベクトルに素早く接近することを明らかにする。
  論文  参考訳（メタデータ） (2023-04-13T08:52:34Z)
• MMD-ReID: A Simple but Effective Solution for Visible-Thermal Person ReID [20.08880264104061]
  本稿では,モダリティギャップを明示的な差分低減制約によって低減する,シンプルで効果的なMDD-ReIDを提案する。 我々はMDD-ReIDの有効性を定性的かつ定量的に実証するための広範囲な実験を行った。 提案手法は,SYSU-MM01およびRegDBデータセットにおける最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-11-09T11:33:32Z)
• Modality Compensation Network: Cross-Modal Adaptation for Action Recognition [77.24983234113957]
  異なるモダリティの関係を探索するためのモダリティ補償ネットワーク(MCN)を提案する。 我々のモデルは、適応表現学習を実現するために、モーダリティ適応ブロックによって、ソースおよび補助モーダリティからのデータをブリッジする。 実験の結果,MCNは4つの広く使用されている行動認識ベンチマークにおいて,最先端のアプローチよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-01-31T04:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。