論文の概要: DiffuMural: Restoring Dunhuang Murals with Multi-scale Diffusion
- arxiv url: http://arxiv.org/abs/2504.09513v1
- Date: Sun, 13 Apr 2025 10:35:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-23 04:41:02.2493
- Title: DiffuMural: Restoring Dunhuang Murals with Multi-scale Diffusion
- Title（参考訳）: DiffuMural:マルチスケール拡散によるDunhuang Muralsの復元
- Authors: Puyu Han, Jiaju Kang, Yuhang Pan, Erting Pan, Zeyu Zhang, Qunchao Jin, Juntao Jiang, Zhichen Liu, Luqi Gong,
- Abstract要約: マルチスケール収束と協調拡散機構を組み合わせたDiffuMuralを提案する。
評価フレームワークには,不完全な壁画を定量的に評価するための4つの重要な指標が組み込まれている。
本手法は,定性的,定量的両指標において,最先端(SOTA)アプローチより優れる。
- 参考スコア（独自算出の注目度）: 2.502637171979533
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large-scale pre-trained diffusion models have produced excellent results in the field of conditional image generation. However, restoration of ancient murals, as an important downstream task in this field, poses significant challenges to diffusion model-based restoration methods due to its large defective area and scarce training samples. Conditional restoration tasks are more concerned with whether the restored part meets the aesthetic standards of mural restoration in terms of overall style and seam detail, and such metrics for evaluating heuristic image complements are lacking in current research. We therefore propose DiffuMural, a combined Multi-scale convergence and Collaborative Diffusion mechanism with ControlNet and cyclic consistency loss to optimise the matching between the generated images and the conditional control. DiffuMural demonstrates outstanding capabilities in mural restoration, leveraging training data from 23 large-scale Dunhuang murals that exhibit consistent visual aesthetics. The model excels in restoring intricate details, achieving a coherent overall appearance, and addressing the unique challenges posed by incomplete murals lacking factual grounding. Our evaluation framework incorporates four key metrics to quantitatively assess incomplete murals: factual accuracy, textural detail, contextual semantics, and holistic visual coherence. Furthermore, we integrate humanistic value assessments to ensure the restored murals retain their cultural and artistic significance. Extensive experiments validate that our method outperforms state-of-the-art (SOTA) approaches in both qualitative and quantitative metrics.
- Abstract（参考訳）: 大規模事前学習拡散モデルでは条件付き画像生成の分野で優れた結果が得られた。
しかし、この分野で重要な下流の課題である古代壁画の復元は、大きな欠陥領域と訓練サンプルの不足により、拡散モデルに基づく復元方法に大きな課題が生じる。
修復部が壁画修復の美的基準を満たしているか, 全体の様式や美的細部を考慮し, ヒューリスティックな画像補体を評価するための指標が欠如していることが, 条件的復元課題として懸念されている。
そこで我々はDiffuMuralを提案する。DiffuMuralは、生成した画像と条件制御とのマッチングを最適化するために、制御ネットと循環一貫性損失を組み合わせた多スケール収束・協調拡散機構である。
DiffuMuralは、一貫した視覚的美学を示す23の大規模なダンファン壁画のトレーニングデータを活用することで、壁画修復の優れた能力を実証している。
このモデルは複雑な細部を復元し、一貫した外観を達成し、事実の根拠を欠く不完全な壁画によって引き起こされる固有の課題に対処する。
評価フレームワークは,不完全な壁画を定量的に評価するための4つの重要な指標(事実的正確性,テクスト的詳細性,文脈的意味論,全体的視覚的コヒーレンス)を組み込んでいる。
さらに,復元された壁画の文化的・芸術的意義を確実に維持するために,人文的価値評価を統合した。
本手法は,定性的,定量的両指標において,最先端のSOTA(State-of-the-art)手法よりも優れていることを示す。
関連論文リスト
- FoundIR: Unleashing Million-scale Training Data to Advance Foundation Models for Image Restoration [66.61201445650323]
既存の手法は現実のシナリオにおける一般化ボトルネックに悩まされる。
既存のトレーニングデータに対して,2つの大きなメリットがある,100万規模のデータセットをコントリビュートしています。
実世界のシナリオにおいて,より広範囲の復元作業に対処するために,ロバストなモデルFoundIRを提案する。
論文 参考訳（メタデータ） (2024-12-02T12:08:40Z) - ReFIR: Grounding Large Restoration Models with Retrieval Augmentation [52.00990126884406]
本稿では,Retrieval-augmented Framework for Image Restoration (ReFIR) というソリューションを提案する。
我々のReFIRは、抽出した画像を外部知識として組み込んで、既存のLRMの知識境界を拡張する。
実験により,ReFIRは高忠実度だけでなく,現実的な復元結果も得られることが示された。
論文 参考訳（メタデータ） (2024-10-08T01:27:45Z) - Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。
我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。
また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
論文 参考訳（メタデータ） (2024-07-04T05:01:10Z) - DiffLoss: unleashing diffusion model as constraint for training image restoration network [4.8677910801584385]
我々はDiffLossと呼ばれる画像復元ネットワークのトレーニングを支援するために拡散モデルを暗黙的に活用する新しい視点を導入する。
これら2つの設計を組み合わせることで、全体的な損失関数は画像復元の知覚的品質を改善することができ、視覚的に快く、意味的に強化された結果をもたらす。
論文 参考訳（メタデータ） (2024-06-27T09:33:24Z) - Joint Conditional Diffusion Model for Image Restoration with Mixed Degradations [29.14467633167042]
悪天候下における画像復元のための新しい手法を提案する。
大気散乱モデルに基づく混合劣化モデルを用いて, 復元過程全体を導出する。
マルチウェザーおよび気象特化データセットの実験は、最先端の競合手法よりも、我々の手法が優れていることを示す。
論文 参考訳（メタデータ） (2024-04-11T14:07:16Z) - PGDiff: Guiding Diffusion Models for Versatile Face Restoration via
Partial Guidance [65.5618804029422]
これまでの研究は、明示的な劣化モデルを用いて解空間を制限することで、注目すべき成功を収めてきた。
実世界の劣化に適応可能な新しい視点である部分的ガイダンスを導入することでPGDiffを提案する。
提案手法は,既存の拡散優先手法に勝るだけでなく,タスク固有モデルと良好に競合する。
論文 参考訳（メタデータ） (2023-09-19T17:51:33Z) - A 3M-Hybrid Model for the Restoration of Unique Giant Murals: A Case
Study on the Murals of Yongle Palace [2.9491988705158843]
ヨンレ宮殿壁画の巨大なサイズとユニークなデータは、既存の深層学習に基づく復元手法の課題を提示する。
これらの課題に対処するために、3M-Hybridモデルが提案されている。
SSIMとPSNRをそれぞれ14.61%、PSNRを4.73%改善している。
論文 参考訳（メタデータ） (2023-09-12T13:03:32Z) - DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior [70.46245698746874]
DiffBIRは、視覚の異なる画像復元タスクを処理できる一般的な修復パイプラインである。
DiffBIRは, ブラインド画像復元問題を, 1) 劣化除去: 画像に依存しない内容の除去; 2) 情報再生: 失われた画像内容の生成の2段階に分離する。
第1段階では, 修復モジュールを用いて劣化を除去し, 高忠実度復元結果を得る。
第2段階では、潜伏拡散モデルの生成能力を活用して現実的な詳細を生成するIRControlNetを提案する。
論文 参考訳（メタデータ） (2023-08-29T07:11:52Z) - Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。
このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。
様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
論文 参考訳（メタデータ） (2023-08-28T08:47:06Z) - Diffusion Models for Image Restoration and Enhancement -- A
Comprehensive Survey [96.99328714941657]
本稿では,近年の拡散モデルに基づく画像復元手法について概観する。
我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。
本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
論文 参考訳（メタデータ） (2023-08-18T08:40:38Z) - Gated Fusion Network for Degraded Image Super Resolution [78.67168802945069]
本稿では,基本特徴と回復特徴を別々に抽出する二分岐畳み込みニューラルネットワークを提案する。
特徴抽出ステップを2つのタスク非依存ストリームに分解することで、デュアルブランチモデルがトレーニングプロセスを容易にすることができる。
論文 参考訳（メタデータ） (2020-03-02T13:28:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。