論文の概要: A 3M-Hybrid Model for the Restoration of Unique Giant Murals: A Case
Study on the Murals of Yongle Palace
- arxiv url: http://arxiv.org/abs/2309.06194v1
- Date: Tue, 12 Sep 2023 13:03:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 13:00:30.296220
- Title: A 3M-Hybrid Model for the Restoration of Unique Giant Murals: A Case
Study on the Murals of Yongle Palace
- Title(参考訳): 3M-Hybridモデルによる一様巨原の復元 : ヨンレ宮殿の村を事例として
- Authors: Jing Yang, Nur Intan Raihana Ruhaiyem, Chichun Zhou
- Abstract要約: ヨンレ宮殿壁画の巨大なサイズとユニークなデータは、既存の深層学習に基づく復元手法の課題を提示する。
これらの課題に対処するために、3M-Hybridモデルが提案されている。
SSIMとPSNRをそれぞれ14.61%、PSNRを4.73%改善している。
- 参考スコア(独自算出の注目度): 2.9491988705158843
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Yongle Palace murals, as valuable cultural heritage, have suffered
varying degrees of damage, making their restoration of significant importance.
However, the giant size and unique data of Yongle Palace murals present
challenges for existing deep-learning based restoration methods: 1) The
distinctive style introduces domain bias in traditional transfer learning-based
restoration methods, while the scarcity of mural data further limits the
applicability of these methods. 2) Additionally, the giant size of these murals
results in a wider range of defect types and sizes, necessitating models with
greater adaptability. Consequently, there is a lack of focus on deep
learning-based restoration methods for the unique giant murals of Yongle
Palace. Here, a 3M-Hybrid model is proposed to address these challenges.
Firstly, based on the characteristic that the mural data frequency is prominent
in the distribution of low and high frequency features, high and low frequency
features are separately abstracted for complementary learning. Furthermore, we
integrate a pre-trained Vision Transformer model (VIT) into the CNN module,
allowing us to leverage the benefits of a large model while mitigating domain
bias. Secondly, we mitigate seam and structural distortion issues resulting
from the restoration of large defects by employing a multi-scale and
multi-perspective strategy, including data segmentation and fusion.
Experimental results demonstrate the efficacy of our proposed model. In
regular-sized mural restoration, it improves SSIM and PSNR by 14.61% and 4.73%,
respectively, compared to the best model among four representative CNN models.
Additionally, it achieves favorable results in the final restoration of giant
murals.
- Abstract(参考訳): 貴重な文化財として、ヨンレ宮殿の壁画は様々な被害を受けており、その修復は重要な意味を持つ。
しかし、龍宮壁画の巨大なサイズとユニークなデータは、既存の深層学習に基づく復元手法の課題を呈している。
1) 従来の移動学習に基づく復元手法ではドメインバイアスが発生し, 壁画データの不足により適用性がさらに制限される。
2)これらの壁画の巨大なサイズは、より広い範囲の欠陥タイプとサイズをもたらし、より適応性のあるモデルが必要となる。
そのため、龍宮の独特な巨大な壁画の深層学習による復元方法に焦点が当てられていない。
ここでは,これらの課題に対処するために,3mハイブリッドモデルを提案する。
まず、壁画データ頻度が低頻度特徴と高頻度特徴の分布に顕著であることから、補足学習のために高頻度特徴と低周波数特徴を別々に抽象化する。
さらに,事前学習した視覚トランスフォーマモデル(vit)をcnnモジュールに統合することで,領域バイアスを軽減しつつ,大規模モデルのメリットを活用できる。
次に,データ分割や融合を含むマルチスケール・マルチパースペクティブ戦略を用いることで,大きな欠陥の修復に起因するシームや構造的歪みの問題を緩和する。
実験の結果,提案モデルの有効性が示された。
通常の壁画修復では、SSIMとPSNRをそれぞれ14.61%、PSNRは4.73%改善している。
また、巨大な壁画の復元に好意的な成果をあげている。
関連論文リスト
- RaFE: Generative Radiance Fields Restoration [38.602849644666165]
NeRF(Neural Radiance Fields)は、新しいビュー合成と3次元再構成において大きな可能性を証明している。
従来のNeRF修復法は、回復の一般性を無視して、特定の劣化タイプに合わせて調整されている。
本稿では,様々な種類の劣化に対して適用可能な一般放射場復元パイプラインであるRaFEを提案する。
論文 参考訳(メタデータ) (2024-04-04T17:59:50Z) - GeoWizard: Unleashing the Diffusion Priors for 3D Geometry Estimation from a Single Image [94.56927147492738]
単一画像から幾何学的属性を推定するための新しい生成基盤モデルであるGeoWizardを紹介する。
拡散前処理の活用は,資源利用における一般化,詳細な保存,効率性を著しく向上させることが示唆された。
本稿では,様々なシーンの複雑なデータ分布を,個別のサブディストリビューションに分離する,シンプルかつ効果的な戦略を提案する。
論文 参考訳(メタデータ) (2024-03-18T17:50:41Z) - PGDiff: Guiding Diffusion Models for Versatile Face Restoration via
Partial Guidance [65.5618804029422]
これまでの研究は、明示的な劣化モデルを用いて解空間を制限することで、注目すべき成功を収めてきた。
実世界の劣化に適応可能な新しい視点である部分的ガイダンスを導入することでPGDiffを提案する。
提案手法は,既存の拡散優先手法に勝るだけでなく,タスク固有モデルと良好に競合する。
論文 参考訳(メタデータ) (2023-09-19T17:51:33Z) - Learning from History: Task-agnostic Model Contrastive Learning for
Image Restoration [79.04007257606862]
本稿では,対象モデル自体から負のサンプルを動的に生成する「歴史からの学習」という革新的な手法を提案する。
我々のアプローチはMCLIR(Model Contrastive Learning for Image Restoration)と呼ばれ、遅延モデルを負のモデルとして再定義し、多様な画像復元タスクと互換性を持たせる。
論文 参考訳(メタデータ) (2023-09-12T07:50:54Z) - Diffusion Models for Image Restoration and Enhancement -- A
Comprehensive Survey [96.99328714941657]
本稿では,近年の拡散モデルに基づく画像復元手法について概観する。
我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。
本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
論文 参考訳(メタデータ) (2023-08-18T08:40:38Z) - Breaking Through the Haze: An Advanced Non-Homogeneous Dehazing Method
based on Fast Fourier Convolution and ConvNeXt [14.917290578644424]
ヘイズは通常、低コントラスト、色の変化、構造歪みで劣化した画像につながる。
本稿では、2次元離散ウェーブレット変換(DWT)、高速フーリエ畳み込み(FFC)残差ブロック、事前訓練されたConvNeXtモデルを活用する2つの分岐ネットワークを提案する。
我々のモデルは、グローバルな文脈情報を効果的に探索し、知覚品質の高い画像を生成することができる。
論文 参考訳(メタデータ) (2023-05-08T02:59:02Z) - 2S-UDF: A Novel Two-stage UDF Learning Method for Robust Non-watertight Model Reconstruction from Multi-view Images [12.076881343401329]
多視点画像から高品質なUDFを学習するための新しい2段階アルゴリズム2S-UDFを提案する。
定量的な測定値と視覚的品質の両方において、この結果は他のUDF学習技術よりも優れた性能を示している。
論文 参考訳(メタデータ) (2023-03-27T16:35:28Z) - Cross-domain Self-supervised Framework for Photoacoustic Computed
Tomography Image Reconstruction [4.769412124596113]
純粋なトランスモデルを用いたクロスドメイン非教師付き再構築(CDUR)戦略を提案する。
モデルに基づく自己監督型再構成を実装し、自己監督を利用して計測と画像の整合性を強制する。
マウスのin-vivo PACTデータセットの実験結果は、我々の教師なしフレームワークの可能性を示している。
論文 参考訳(メタデータ) (2023-01-17T03:47:01Z) - HandFlow: Quantifying View-Dependent 3D Ambiguity in Two-Hand
Reconstruction with Normalizing Flow [73.7895717883622]
条件付き正規化フローフレームワークにおける可塑性再構成の分布を明示的にモデル化する。
この課題に対して,明示的な曖昧さモデリングが適していることを示す。
論文 参考訳(メタデータ) (2022-10-04T15:42:22Z) - Parameter-Efficient Mixture-of-Experts Architecture for Pre-trained
Language Models [68.9288651177564]
量子多体物理学から行列積演算子(MPO)に基づく新しいMoEアーキテクチャを提案する。
分解されたMPO構造により、元のMoEアーキテクチャのパラメータを減らすことができる。
GPT2に基づく3つの有名な下流自然言語データセットの実験は、モデルキャパシティの向上における性能と効率の向上を示している。
論文 参考訳(メタデータ) (2022-03-02T13:44:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。