論文の概要: A 3M-Hybrid Model for the Restoration of Unique Giant Murals: A Case Study on the Murals of Yongle Palace

• arxiv url: http://arxiv.org/abs/2309.06194v1
• Date: Tue, 12 Sep 2023 13:03:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-13 13:00:30.296220
• Title: A 3M-Hybrid Model for the Restoration of Unique Giant Murals: A Case Study on the Murals of Yongle Palace
• Title（参考訳）: 3M-Hybridモデルによる一様巨原の復元 : ヨンレ宮殿の村を事例として
• Authors: Jing Yang, Nur Intan Raihana Ruhaiyem, Chichun Zhou
• Abstract要約: ヨンレ宮殿壁画の巨大なサイズとユニークなデータは、既存の深層学習に基づく復元手法の課題を提示する。 これらの課題に対処するために、3M-Hybridモデルが提案されている。 SSIMとPSNRをそれぞれ14.61%、PSNRを4.73%改善している。
• 参考スコア（独自算出の注目度）: 2.9491988705158843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Yongle Palace murals, as valuable cultural heritage, have suffered varying degrees of damage, making their restoration of significant importance. However, the giant size and unique data of Yongle Palace murals present challenges for existing deep-learning based restoration methods: 1) The distinctive style introduces domain bias in traditional transfer learning-based restoration methods, while the scarcity of mural data further limits the applicability of these methods. 2) Additionally, the giant size of these murals results in a wider range of defect types and sizes, necessitating models with greater adaptability. Consequently, there is a lack of focus on deep learning-based restoration methods for the unique giant murals of Yongle Palace. Here, a 3M-Hybrid model is proposed to address these challenges. Firstly, based on the characteristic that the mural data frequency is prominent in the distribution of low and high frequency features, high and low frequency features are separately abstracted for complementary learning. Furthermore, we integrate a pre-trained Vision Transformer model (VIT) into the CNN module, allowing us to leverage the benefits of a large model while mitigating domain bias. Secondly, we mitigate seam and structural distortion issues resulting from the restoration of large defects by employing a multi-scale and multi-perspective strategy, including data segmentation and fusion. Experimental results demonstrate the efficacy of our proposed model. In regular-sized mural restoration, it improves SSIM and PSNR by 14.61% and 4.73%, respectively, compared to the best model among four representative CNN models. Additionally, it achieves favorable results in the final restoration of giant murals.
• Abstract（参考訳）: 貴重な文化財として、ヨンレ宮殿の壁画は様々な被害を受けており、その修復は重要な意味を持つ。 しかし、龍宮壁画の巨大なサイズとユニークなデータは、既存の深層学習に基づく復元手法の課題を呈している。 1) 従来の移動学習に基づく復元手法ではドメインバイアスが発生し, 壁画データの不足により適用性がさらに制限される。 2)これらの壁画の巨大なサイズは、より広い範囲の欠陥タイプとサイズをもたらし、より適応性のあるモデルが必要となる。 そのため、龍宮の独特な巨大な壁画の深層学習による復元方法に焦点が当てられていない。 ここでは,これらの課題に対処するために,3mハイブリッドモデルを提案する。 まず、壁画データ頻度が低頻度特徴と高頻度特徴の分布に顕著であることから、補足学習のために高頻度特徴と低周波数特徴を別々に抽象化する。 さらに,事前学習した視覚トランスフォーマモデル(vit)をcnnモジュールに統合することで,領域バイアスを軽減しつつ,大規模モデルのメリットを活用できる。 次に,データ分割や融合を含むマルチスケール・マルチパースペクティブ戦略を用いることで,大きな欠陥の修復に起因するシームや構造的歪みの問題を緩和する。 実験の結果,提案モデルの有効性が示された。 通常の壁画修復では、SSIMとPSNRをそれぞれ14.61%、PSNRは4.73%改善している。 また、巨大な壁画の復元に好意的な成果をあげている。

関連論文リスト

• Frequency-Aware Guidance for Blind Image Restoration via Diffusion Models [20.898262207229873]
  ブラインド画像復元は、低レベルの視覚タスクにおいて重要な課題である。 誘導拡散モデルは、視覚的画像復元において有望な結果を得た。 本稿では,様々な拡散モデルにプラグイン・アンド・プレイ方式で組み込むことができる新しい周波数対応誘導損失を提案する。
  論文  参考訳（メタデータ） (2024-11-19T12:18:16Z)
• Towards Degradation-Robust Reconstruction in Generalizable NeRF [58.33351079982745]
  GNeRF(Generalizable Radiance Field)は,シーンごとの最適化を回避する手段として有効であることが証明されている。 GNeRFの強靭性は, ソース画像に現れる様々な種類の劣化に対して限定的に研究されている。
  論文  参考訳（メタデータ） (2024-11-18T16:13:47Z)
• DreamClear: High-Capacity Real-World Image Restoration with Privacy-Safe Dataset Curation [46.22939360256696]
  我々は、革新的なデータキュレーションパイプラインであるGenIRと、最先端の拡散変換器(DiT)ベースの画像復元モデルであるDreamClearの2つの戦略を提案する。 我々の先駆的な貢献であるGenIRは、既存のデータセットの制限を克服するデュアルプロンプト学習パイプラインです。 DreamClear は DiT ベースの画像復元モデルである。テキスト・ツー・イメージ(T2I)拡散モデルの生成先行と,マルチモーダル大言語モデル(MLLM)の堅牢な知覚能力を利用して復元を実現する。
  論文  参考訳（メタデータ） (2024-10-24T11:57:20Z)
• Revisiting Catastrophic Forgetting in Large Language Model Tuning [79.70722658190097]
  Catastrophic Forgetting (CF) は、新しいデータを学ぶ際に獲得した知識を忘れるモデルを意味する。 本稿では,モデル損失景観の平坦度と大規模言語モデルの分野におけるCFの広さとの直接的な関係を明らかにするための第一歩を踏み出した。 様々なモデルスケールにまたがる3つの大規模微調整データセットの実験により,CFを緩和する手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-07T11:09:13Z)
• RaFE: Generative Radiance Fields Restoration [38.602849644666165]
  NeRF(Neural Radiance Fields)は、新しいビュー合成と3次元再構成において大きな可能性を証明している。 従来のNeRF修復法は、回復の一般性を無視して、特定の劣化タイプに合わせて調整されている。 本稿では,様々な種類の劣化に対して適用可能な一般放射場復元パイプラインであるRaFEを提案する。
  論文  参考訳（メタデータ） (2024-04-04T17:59:50Z)
• GeoWizard: Unleashing the Diffusion Priors for 3D Geometry Estimation from a Single Image [94.56927147492738]
  単一画像から幾何学的属性を推定するための新しい生成基盤モデルであるGeoWizardを紹介する。 拡散前処理の活用は,資源利用における一般化,詳細な保存,効率性を著しく向上させることが示唆された。 本稿では,様々なシーンの複雑なデータ分布を,個別のサブディストリビューションに分離する,シンプルかつ効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-18T17:50:41Z)
• Multi-task Image Restoration Guided By Robust DINO Features [88.74005987908443]
  DINOv2から抽出したロバストな特徴を利用したマルチタスク画像復元手法であるmboxtextbfDINO-IRを提案する。 まず,DINOV2の浅い特徴を動的に融合するPSF (Pixel-semantic fusion) モジュールを提案する。 これらのモジュールを統一された深層モデルに定式化することにより、モデルトレーニングを制約するために、DINO知覚の対照的な損失を提案する。
  論文  参考訳（メタデータ） (2023-12-04T06:59:55Z)
• Diffusion Models for Image Restoration and Enhancement -- A Comprehensive Survey [96.99328714941657]
  本稿では,近年の拡散モデルに基づく画像復元手法について概観する。 我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。 本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
  論文  参考訳（メタデータ） (2023-08-18T08:40:38Z)
• Breaking Through the Haze: An Advanced Non-Homogeneous Dehazing Method based on Fast Fourier Convolution and ConvNeXt [14.917290578644424]
  ヘイズは通常、低コントラスト、色の変化、構造歪みで劣化した画像につながる。 本稿では、2次元離散ウェーブレット変換(DWT)、高速フーリエ畳み込み(FFC)残差ブロック、事前訓練されたConvNeXtモデルを活用する2つの分岐ネットワークを提案する。 我々のモデルは、グローバルな文脈情報を効果的に探索し、知覚品質の高い画像を生成することができる。
  論文  参考訳（メタデータ） (2023-05-08T02:59:02Z)
• Cross-domain Self-supervised Framework for Photoacoustic Computed Tomography Image Reconstruction [4.769412124596113]
  純粋なトランスモデルを用いたクロスドメイン非教師付き再構築(CDUR)戦略を提案する。 モデルに基づく自己監督型再構成を実装し、自己監督を利用して計測と画像の整合性を強制する。 マウスのin-vivo PACTデータセットの実験結果は、我々の教師なしフレームワークの可能性を示している。
  論文  参考訳（メタデータ） (2023-01-17T03:47:01Z)
• Parameter-Efficient Mixture-of-Experts Architecture for Pre-trained Language Models [68.9288651177564]
  量子多体物理学から行列積演算子(MPO)に基づく新しいMoEアーキテクチャを提案する。 分解されたMPO構造により、元のMoEアーキテクチャのパラメータを減らすことができる。 GPT2に基づく3つの有名な下流自然言語データセットの実験は、モデルキャパシティの向上における性能と効率の向上を示している。
  論文  参考訳（メタデータ） (2022-03-02T13:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。