論文の概要: ADIR: Adaptive Diffusion for Image Reconstruction
- arxiv url: http://arxiv.org/abs/2212.03221v2
- Date: Sun, 07 Sep 2025 10:42:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-09 14:07:02.529934
- Title: ADIR: Adaptive Diffusion for Image Reconstruction
- Title(参考訳): ADIR:画像再構成のための適応拡散
- Authors: Shady Abu-Hussein, Tom Tirer, Raja Giryes,
- Abstract要約: 拡散モデルのデノイングは画像生成において顕著な成功を収めており、自然画像統計に関する豊富な情報を収集している。
本稿では,拡散モデルで学習した強力な事前知識を活用しつつ,利用可能な測定値との整合性を実現する条件付きサンプリングフレームワークを提案する。
大規模かつ多様なデータセットから効率よく抽出される劣化した入力とセマンティックかつ視覚的に類似した画像を用いてLoRAに基づく適応を用いる。
- 参考スコア(独自算出の注目度): 42.90778718695398
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Denoising diffusion models have recently achieved remarkable success in image generation, capturing rich information about natural image statistics. This makes them highly promising for image reconstruction, where the goal is to recover a clean image from a degraded observation. In this work, we introduce a conditional sampling framework that leverages the powerful priors learned by diffusion models while enforcing consistency with the available measurements. To further adapt pre-trained diffusion models to the specific degradation at hand, we propose a novel fine-tuning strategy. In particular, we employ LoRA-based adaptation using images that are semantically and visually similar to the degraded input, efficiently retrieved from a large and diverse dataset via an off-the-shelf vision-language model. We evaluate our approach on two leading publicly available diffusion models--Stable Diffusion and Guided Diffusion--and demonstrate that our method, termed Adaptive Diffusion for Image Reconstruction (ADIR), yields substantial improvements across a range of image reconstruction tasks.
- Abstract(参考訳): 拡散モデルのデノイングは画像生成において顕著な成功を収めており、自然画像統計に関する豊富な情報を収集している。
そこでは、劣化した観察からクリーンなイメージを復元することが目的である。
そこで本研究では,拡散モデルによって学習された強力な事前知識を活用しつつ,利用可能な測定値との整合性を図った条件付きサンプリングフレームワークを提案する。
事前学習した拡散モデルをさらに具体的な劣化に適応させるため,我々は新しい微調整戦略を提案する。
特に,LoRAをベースとした画像適応手法を用いて,市販の視覚言語モデルを用いて,大規模で多様なデータセットから効率よく抽出した劣化した入力に類似した意味的,視覚的に類似した画像を用いる。
提案手法は,画像再構成のための適応拡散(adaptive Diffusion for Image Reconstruction, ADIR)と呼ばれ, 様々な画像再構成タスクにおいて大幅に改善されていることを示す。
関連論文リスト
- Towards Reliable Identification of Diffusion-based Image Manipulations [29.011252426887577]
Inpainted AReas(RADAR)のReliAble iDentificationのための新しいアプローチを提案する。
RADARは既存のファンデーションモデルに基づいて構築され、異なる画像モダリティの機能を組み合わせている。
実験の結果,RADARは画像編集の精度を向上し,画像編集の局部化に優れることがわかった。
論文 参考訳(メタデータ) (2025-06-05T18:00:01Z) - DiffDoctor: Diagnosing Image Diffusion Models Before Treating [57.82359018425674]
DiffDoctorは2段階のパイプラインで、画像拡散モデルがより少ないアーティファクトを生成するのを支援する。
我々は100万以上の欠陥のある合成画像のデータセットを収集し、効率的なHuman-in-the-loopアノテーションプロセスを構築した。
次に、学習したアーティファクト検出器が第2段階に関与し、ピクセルレベルのフィードバックを提供することで拡散モデルを最適化する。
論文 参考訳(メタデータ) (2025-01-21T18:56:41Z) - Blind Image Restoration via Fast Diffusion Inversion [17.139433082780037]
Blind Image Restoration via fast Diffusion (BIRD) は、劣化モデルパラメータと復元画像の協調最適化を行うブラインド赤外線法である。
提案手法の鍵となる考え方は、初期ノイズがサンプリングされると、逆サンプリングを変更すること、すなわち、中間潜水剤を全て変更しないことである。
画像復元作業におけるBIRDの有効性を実験的に検証し,それらすべてに対して,その成果が得られたことを示す。
論文 参考訳(メタデータ) (2024-05-29T23:38:12Z) - DiffHarmony: Latent Diffusion Model Meets Image Harmonization [11.500358677234939]
拡散モデルは画像から画像への翻訳タスクの迅速な開発を促進する。
スクラッチからの微調整事前学習潜伏拡散モデルは計算集約的である。
本稿では,事前学習した潜伏拡散モデルを画像調和タスクに適用し,調和性はあるが曖昧な初期画像を生成する。
論文 参考訳(メタデータ) (2024-04-09T09:05:23Z) - ReNoise: Real Image Inversion Through Iterative Noising [62.96073631599749]
本研究では,操作数を増やすことなく,高い品質と操作率の逆転法を導入し,再現精度を向上する。
我々は,近年の高速化拡散モデルを含む様々なサンプリングアルゴリズムとモデルを用いて,Renoise手法の性能を評価する。
論文 参考訳(メタデータ) (2024-03-21T17:52:08Z) - Denoising Autoregressive Representation Learning [13.185567468951628]
DARLはデコーダのみのトランスフォーマーを用いて,画像パッチの自動回帰予測を行う。
提案手法では, 適応型ノイズスケジュールを用いて学習表現を改良し, より大規模なモデルでより長い訓練を行えることを示す。
論文 参考訳(メタデータ) (2024-03-08T10:19:00Z) - Improving Diffusion-Based Image Synthesis with Context Prediction [49.186366441954846]
既存の拡散モデルは、主に、劣化した画像から空間軸に沿って画素幅または特徴幅の制約で入力画像を再構成しようとする。
文脈予測を用いて拡散に基づく画像合成を改善するためのConPreDiffを提案する。
我々のConPreDiffは従来手法を一貫して上回り、ゼロショットFIDスコア6.21で、MS-COCO上で新たなSOTAテキスト・画像生成結果を達成する。
論文 参考訳(メタデータ) (2024-01-04T01:10:56Z) - Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。
このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。
様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
論文 参考訳(メタデータ) (2023-08-28T08:47:06Z) - Diffusion Models for Image Restoration and Enhancement -- A
Comprehensive Survey [96.99328714941657]
本稿では,近年の拡散モデルに基づく画像復元手法について概観する。
我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。
本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
論文 参考訳(メタデータ) (2023-08-18T08:40:38Z) - SinDiffusion: Learning a Diffusion Model from a Single Natural Image [159.4285444680301]
SinDiffusionは1つの自然な画像からパッチの内部分布を捉えるためにデノナイズ拡散モデルを利用する。
SinDiffusionは、2つのコア設計に基づいている。まず、SinDiffusionは、段階的にスケールが成長する複数のモデルではなく、1つのスケールで1つのモデルで訓練されている。
第2に,拡散ネットワークのパッチレベルの受容領域は,画像のパッチ統計を捉える上で重要かつ効果的であることを示す。
論文 参考訳(メタデータ) (2022-11-22T18:00:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。