論文の概要: InterLCM: Low-Quality Images as Intermediate States of Latent Consistency Models for Effective Blind Face Restoration

• arxiv url: http://arxiv.org/abs/2502.02215v1
• Date: Tue, 04 Feb 2025 10:51:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:58:59.861839
• Title: InterLCM: Low-Quality Images as Intermediate States of Latent Consistency Models for Effective Blind Face Restoration
• Title（参考訳）: InterLCM: 有効なブラインド顔復元のための潜時整合モデルの中間状態としての低品質画像
• Authors: Senmao Li, Kai Wang, Joost van de Weijer, Fahad Shahbaz Khan, Chun-Le Guo, Shiqi Yang, Yaxing Wang, Jian Yang, Ming-Ming Cheng,
• Abstract要約: 拡散前駆体は、低画質画像の復元のために、復元データセットの微細調整拡散モデル(DM)によってブラインドフェイス復元(BFR)に使用されている。 我々は,その優れたセマンティック一貫性と効率のために潜在一貫性モデル(LCM)を活用するために,InterLCMを提案する。 InterLCMは、合成データセットと実世界のデータセットの両方において既存のアプローチより優れており、推論速度も高速である。
• 参考スコア（独自算出の注目度）: 106.70903819362402
• License:
• Abstract: Diffusion priors have been used for blind face restoration (BFR) by fine-tuning diffusion models (DMs) on restoration datasets to recover low-quality images. However, the naive application of DMs presents several key limitations. (i) The diffusion prior has inferior semantic consistency (e.g., ID, structure and color.), increasing the difficulty of optimizing the BFR model; (ii) reliance on hundreds of denoising iterations, preventing the effective cooperation with perceptual losses, which is crucial for faithful restoration. Observing that the latent consistency model (LCM) learns consistency noise-to-data mappings on the ODE-trajectory and therefore shows more semantic consistency in the subject identity, structural information and color preservation, we propose InterLCM to leverage the LCM for its superior semantic consistency and efficiency to counter the above issues. Treating low-quality images as the intermediate state of LCM, InterLCM achieves a balance between fidelity and quality by starting from earlier LCM steps. LCM also allows the integration of perceptual loss during training, leading to improved restoration quality, particularly in real-world scenarios. To mitigate structural and semantic uncertainties, InterLCM incorporates a Visual Module to extract visual features and a Spatial Encoder to capture spatial details, enhancing the fidelity of restored images. Extensive experiments demonstrate that InterLCM outperforms existing approaches in both synthetic and real-world datasets while also achieving faster inference speed.
• Abstract（参考訳）: 拡散前駆体は、低画質画像の復元のために、復元データセットの微細調整拡散モデル(DM)によってブラインドフェイス復元(BFR)に使用されている。 しかし、DMの単純適用にはいくつかの重要な制限がある。 一 拡散先行は、劣等な意味的一貫性(例えば、ID、構造及び色)を有し、BFRモデルを最適化することの難しさを増す。 (二 何百回も反復に頼り、知覚的損失との効果的な協力を防ぎ、忠実な修復に不可欠である。) 潜在整合性モデル(LCM)がODE軌道上の整合性ノイズ・データマッピングを学習し,従って主観的アイデンティティ,構造情報,色保存のセマンティックな一貫性を示すことを観察し,LCMを優れたセマンティックな整合性と効率に活用し,上記の問題に対処するInterLCMを提案する。 低画質画像をLCMの中間状態として扱うことで、ICCMは初期のLCMステップから始めることで、忠実度と品質のバランスを実現する。 LCMはまた、トレーニング中の知覚的損失の統合を可能にし、特に現実世界のシナリオにおいて、回復品質が改善される。 構造的および意味的不確かさを軽減するため、InterLCMは視覚的特徴を抽出するビジュアルモジュールと空間的エンコーダを内蔵し、空間的詳細をキャプチャし、復元された画像の忠実度を高める。 大規模な実験により、InterLCMは合成データセットと実世界のデータセットの両方において既存のアプローチより優れており、推論速度も高速であることが示された。

関連論文リスト

• MMAR: Towards Lossless Multi-Modal Auto-Regressive Probabilistic Modeling [64.09238330331195]
  本稿では,MMAR(Multi-Modal Auto-Regressive)確率モデルフレームワークを提案する。 離散化の手法とは異なり、MMARは情報損失を避けるために連続的に評価された画像トークンを取り入れる。 MMARは他のジョイントマルチモーダルモデルよりもはるかに優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T17:57:18Z)
• DenoMamba: A fused state-space model for low-dose CT denoising [6.468495781611433]
  低線量CT(LDCT)は放射線曝露に伴う潜在的なリスクを低くする。 LDCT denoisingは、基礎となる組織信号からの線量減少によって引き起こされるノイズを分離するために、データ駆動画像の事前学習を行うニューラルネットワークモデルに基づいている。 DenoMambaは、状態空間モデリング(SSM)に基づく、医療画像の短距離および長距離コンテキストを効率的にキャプチャする新しいデノナイジング手法である。
  論文  参考訳（メタデータ） (2024-09-19T21:32:07Z)
• TC-KANRecon: High-Quality and Accelerated MRI Reconstruction via Adaptive KAN Mechanisms and Intelligent Feature Scaling [8.301957310590712]
  本研究は,TC-KANReconと命名された,革新的な条件付き拡散モデルを提案する。 Multi-Free U-KAN (MF-UKAN) モジュールと動的クリッピング戦略が組み込まれている。 実験により,提案手法は定性評価と定量的評価の両方において,他のMRI再建法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-11T06:31:56Z)
• Continual Panoptic Perception: Towards Multi-modal Incremental Interpretation of Remote Sensing Images [16.0258685984844]
  継続的学習(CL)は、一方的なトレーニングの方法を破壊し、モデルが新しいデータ、セマンティクス、タスクに継続的に適応できるようにする。 本稿では,画素レベルの分類,インスタンスレベルのセグメンテーション,イメージレベルの知覚を対象とするマルチタスク共同学習を利用した統合型連続学習モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-19T12:22:32Z)
• MRIR: Integrating Multimodal Insights for Diffusion-based Realistic Image Restoration [17.47612023350466]
  マルチモーダルなインサイトを持つ拡散型復元法であるMRIRを提案する。 テキストレベルでは、訓練済みのマルチモーダル大言語モデルのパワーを利用して、低品質の画像から意味のある意味情報を推測する。 視覚レベルでは、主にピクセルレベルの制御に焦点を合わせ、Pixelレベルのプロセッサと制御ネットを用いて空間構造を制御する。
  論文  参考訳（メタデータ） (2024-07-04T04:55:14Z)
• Binarized Diffusion Model for Image Super-Resolution [61.963833405167875]
  超圧縮アルゴリズムであるバイナリ化は、高度な拡散モデル(DM)を効果的に加速する可能性を提供する 既存の二項化法では性能が著しく低下する。 画像SRのための新しいバイナライズ拡散モデルBI-DiffSRを提案する。
  論文  参考訳（メタデータ） (2024-06-09T10:30:25Z)
• DeeDSR: Towards Real-World Image Super-Resolution via Degradation-Aware Stable Diffusion [27.52552274944687]
  低解像度画像のコンテンツや劣化を認識する拡散モデルの能力を高める新しい2段階の劣化認識フレームワークを提案する。 最初の段階では、教師なしのコントラスト学習を用いて画像劣化の表現を得る。 第2段階では、分解対応モジュールを単純化されたControlNetに統合し、様々な劣化への柔軟な適応を可能にします。
  論文  参考訳（メタデータ） (2024-03-31T12:07:04Z)
• Reti-Diff: Illumination Degradation Image Restoration with Retinex-based Latent Diffusion Model [59.08821399652483]
  照明劣化画像復元(IDIR)技術は、劣化した画像の視認性を改善し、劣化した照明の悪影響を軽減することを目的としている。 これらのアルゴリズムのうち、拡散モデル(DM)に基づく手法は期待できる性能を示しているが、画像レベルの分布を予測する際に、重い計算要求や画素の不一致の問題に悩まされることが多い。 我々は、コンパクトな潜在空間内でDMを活用して、簡潔な指導先を生成することを提案し、IDIRタスクのためのReti-Diffと呼ばれる新しいソリューションを提案する。 Reti-Diff は Retinex-based Latent DM (RLDM) と Retinex-Guided Transformer (RG) の2つの鍵成分からなる。
  論文  参考訳（メタデータ） (2023-11-20T09:55:06Z)
• Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
  本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。 このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。 本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-10T07:53:06Z)
• Bridging Synthetic and Real Images: a Transferable and Multiple Consistency aided Fundus Image Enhancement Framework [61.74188977009786]
  画像強調とドメイン適応を同時に行うために,エンドツーエンドの教師支援フレームワークを提案する。 また,教師ネットワークと学生ネットワークのバックボーンとして,マルチステージ型マルチアテンション・ガイド・エンハンスメント・ネットワーク(MAGE-Net)を提案する。
  論文  参考訳（メタデータ） (2023-02-23T06:16:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。