論文の概要: DiffStereo: High-Frequency Aware Diffusion Model for Stereo Image Restoration

• arxiv url: http://arxiv.org/abs/2501.10325v1
• Date: Fri, 17 Jan 2025 17:56:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 13:59:30.539698
• Title: DiffStereo: High-Frequency Aware Diffusion Model for Stereo Image Restoration
• Title（参考訳）: DiffStereo:ステレオ画像復元のための高周波認識拡散モデル
• Authors: Huiyun Cao, Yuan Shi, Bin Xia, Xiaoyu Jin, Wenming Yang,
• Abstract要約: 拡散モデル (DM) は画像復元において有望な性能を達成しているが, ステレオ画像については検討されていない。 本稿では,この領域におけるDMの最初の試みとして,ステレオ画像復元のためのDiffStereoを提案する。 生成的DMと変換器を組み合わせることで、DiffStereoは高い再現精度と知覚品質の両方を達成する。
• 参考スコア（独自算出の注目度）: 21.78657643663529
• License:
• Abstract: Diffusion models (DMs) have achieved promising performance in image restoration but haven't been explored for stereo images. The application of DM in stereo image restoration is confronted with a series of challenges. The need to reconstruct two images exacerbates DM's computational cost. Additionally, existing latent DMs usually focus on semantic information and remove high-frequency details as redundancy during latent compression, which is precisely what matters for image restoration. To address the above problems, we propose a high-frequency aware diffusion model, DiffStereo for stereo image restoration as the first attempt at DM in this domain. Specifically, DiffStereo first learns latent high-frequency representations (LHFR) of HQ images. DM is then trained in the learned space to estimate LHFR for stereo images, which are fused into a transformer-based stereo image restoration network providing beneficial high-frequency information of corresponding HQ images. The resolution of LHFR is kept the same as input images, which preserves the inherent texture from distortion. And the compression in channels alleviates the computational burden of DM. Furthermore, we devise a position encoding scheme when integrating the LHFR into the restoration network, enabling distinctive guidance in different depths of the restoration network. Comprehensive experiments verify that by combining generative DM and transformer, DiffStereo achieves both higher reconstruction accuracy and better perceptual quality on stereo super-resolution, deblurring, and low-light enhancement compared with state-of-the-art methods.
• Abstract（参考訳）: 拡散モデル (DM) は画像復元において有望な性能を達成しているが, ステレオ画像については検討されていない。 ステレオ画像復元におけるDMの適用は、一連の課題に直面している。 2つの画像を再構成する必要性は、DMの計算コストを悪化させる。 さらに、既存の潜時DMは、通常、意味情報に焦点を当て、潜時圧縮時の冗長性として高周波の詳細を除去する。 本稿では,この領域におけるDMの最初の試みとして,ステレオ画像復元のための高周波拡散モデルDiffStereoを提案する。 具体的には、DiffStereo氏がまず、HQイメージの潜在高周波表現(LHFR)を学習する。 そして、学習空間でDMを訓練し、ステレオ画像のLHFRを推定し、変換器ベースのステレオ画像復元ネットワークに融合し、対応する本社画像の有益な高周波情報を提供する。 LHFRの解像度は入力画像と同じであり、歪みから固有のテクスチャを保存する。 そして、チャネル内の圧縮は、DMの計算負担を軽減する。 さらに、LHFRを復元ネットワークに統合する際の位置符号化方式を考案し、復元ネットワークの異なる深さにおける特徴的なガイダンスを可能にする。 総合的な実験により、ジェネレーティブDMとトランスフォーマーを組み合わせることにより、立体超解像、デブロアリング、低照度化において、DiffStereoは高い再現精度と知覚品質の両方を達成する。

関連論文リスト

• Beware of Aliases -- Signal Preservation is Crucial for Robust Image Restoration [20.607361871965157]
  現状の復元変圧器におけるエイリアスフリーパスを簡易に提供することで、復元性能の低コストでモデルロバスト性を向上させることができることを示す。 本稿では,変換器をベースとした画像復元モデルBOA-Restormerを提案する。このモデルでは,周波数領域の一部でダウンサンプリングとアップサンプリングを行い,モデル全体のエイリアスフリーパスを確保するとともに,関連するすべての高周波情報を保存することができる。
  論文  参考訳（メタデータ） (2024-06-11T16:42:17Z)
• Rethinking Diffusion Model for Multi-Contrast MRI Super-Resolution [10.323643152957114]
  DiffMSRと命名されたマルチコントラストMRI SRの効率的な拡散モデルを提案する。 具体的には、DMをコンパクトな低次元潜在空間に適用し、高周波詳細情報を用いた事前知識を生成する。 さらに, DMが生成した事前知識を十分に活用し, 再構成したMR画像が歪んでいないことを保証しながら, 受信フィールドを拡張できる DM 用デコーダとして, PLWformer を設計する。
  論文  参考訳（メタデータ） (2024-04-07T02:15:43Z)
• Generating Content for HDR Deghosting from Frequency View [56.103761824603644]
  近年の拡散モデル (DM) はHDRイメージング分野に導入されている。 DMは画像全体を推定するために大きなモデルで広範囲の反復を必要とする。 ゴーストフリーHDRイメージングのための低周波数対応拡散(LF-Diff)モデルを提案する。
  論文  参考訳（メタデータ） (2024-04-01T01:32:11Z)
• BlindDiff: Empowering Degradation Modelling in Diffusion Models for Blind Image Super-Resolution [52.47005445345593]
  BlindDiff は SISR のブラインド劣化に対処するための DM ベースのブラインドSR 手法である。 BlindDiffはMAPベースの最適化をDMにシームレスに統合する。 合成データセットと実世界のデータセットの両方の実験は、BlindDiffが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2024-03-15T11:21:34Z)
• Segmentation Guided Sparse Transformer for Under-Display Camera Image Restoration [91.65248635837145]
  Under-Display Camera(UDC)は、ディスプレイパネルの下にカメラを隠してフルスクリーン表示を実現する新興技術である。 本稿では,UDC 画像復元に Vision Transformer を用いることで,大量の冗長情報やノイズを大域的注目度で検出する。 UDC劣化画像から高品質な画像を復元するためのガイドスパース変換器(SGSFormer)を提案する。
  論文  参考訳（メタデータ） (2024-03-09T13:11:59Z)
• Reti-Diff: Illumination Degradation Image Restoration with Retinex-based Latent Diffusion Model [59.08821399652483]
  照明劣化画像復元(IDIR)技術は、劣化した画像の視認性を改善し、劣化した照明の悪影響を軽減することを目的としている。 これらのアルゴリズムのうち、拡散モデル(DM)に基づく手法は期待できる性能を示しているが、画像レベルの分布を予測する際に、重い計算要求や画素の不一致の問題に悩まされることが多い。 我々は、コンパクトな潜在空間内でDMを活用して、簡潔な指導先を生成することを提案し、IDIRタスクのためのReti-Diffと呼ばれる新しいソリューションを提案する。 Reti-Diff は Retinex-based Latent DM (RLDM) と Retinex-Guided Transformer (RG) の2つの鍵成分からなる。
  論文  参考訳（メタデータ） (2023-11-20T09:55:06Z)
• Reconstruct-and-Generate Diffusion Model for Detail-Preserving Image Denoising [16.43285056788183]
  再構成・生成拡散モデル(Reconstruct-and-Generate Diffusion Model, RnG)と呼ばれる新しい手法を提案する。 提案手法は, 再構成型復調ネットワークを利用して, 基礎となるクリーン信号の大半を復元する。 拡散アルゴリズムを用いて残留する高周波の詳細を生成し、視覚的品質を向上させる。
  論文  参考訳（メタデータ） (2023-09-19T16:01:20Z)
• DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior [70.46245698746874]
  DiffBIRは、視覚の異なる画像復元タスクを処理できる一般的な修復パイプラインである。 DiffBIRは, ブラインド画像復元問題を, 1) 劣化除去: 画像に依存しない内容の除去; 2) 情報再生: 失われた画像内容の生成の2段階に分離する。 第1段階では, 修復モジュールを用いて劣化を除去し, 高忠実度復元結果を得る。 第2段階では、潜伏拡散モデルの生成能力を活用して現実的な詳細を生成するIRControlNetを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:11:52Z)
• DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration [66.01846902242355]
  ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。 トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。 本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
  論文  参考訳（メタデータ） (2023-03-13T06:05:18Z)
• Deep-Masking Generative Network: A Unified Framework for Background Restoration from Superimposed Images [36.7646332887842]
  本稿では,重畳画像からの背景復元のための統合フレームワークであるDeep-Masking Generative Network(DMGN)を提案する。 まず、粗い背景画像とノイズ画像とを並列に生成し、さらにノイズ画像を利用して背景画像を洗練する。 我々の実験によると、DMGNは各タスクに特化して設計された最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-09T01:47:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。