論文の概要: ARIN: Adaptive Resampling and Instance Normalization for Robust Blind Inpainting of Dunhuang Cave Paintings

• arxiv url: http://arxiv.org/abs/2402.16188v1
• Date: Sun, 25 Feb 2024 20:27:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 15:04:59.831551
• Title: ARIN: Adaptive Resampling and Instance Normalization for Robust Blind Inpainting of Dunhuang Cave Paintings
• Title（参考訳）: ARIN: ダンファンケーブ塗装のロバストブラインド塗布における適応的再サンプリングと事例正規化
• Authors: Alexander Schmidt, Prathmesh Madhu, Andreas Maier, Vincent Christlein, Ronak Kosti
• Abstract要約: この研究で我々は、ダンワン洞窟のイメージを描き出すという現実世界の環境に取り組みました。 ダンファンのデータセットは壁画で構成されており、その半数は腐食と老化に悩まされている。 我々は、最先端(SOTA)の超解像とデブロアリングネットワークに基づく2つの既存手法を修正した。 これらの劣化した洞窟画をうまく塗布し,向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 51.36804225712579
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image enhancement algorithms are very useful for real world computer vision tasks where image resolution is often physically limited by the sensor size. While state-of-the-art deep neural networks show impressive results for image enhancement, they often struggle to enhance real-world images. In this work, we tackle a real-world setting: inpainting of images from Dunhuang caves. The Dunhuang dataset consists of murals, half of which suffer from corrosion and aging. These murals feature a range of rich content, such as Buddha statues, bodhisattvas, sponsors, architecture, dance, music, and decorative patterns designed by different artists spanning ten centuries, which makes manual restoration challenging. We modify two different existing methods (CAR, HINet) that are based upon state-of-the-art (SOTA) super resolution and deblurring networks. We show that those can successfully inpaint and enhance these deteriorated cave paintings. We further show that a novel combination of CAR and HINet, resulting in our proposed inpainting network (ARIN), is very robust to external noise, especially Gaussian noise. To this end, we present a quantitative and qualitative comparison of our proposed approach with existing SOTA networks and winners of the Dunhuang challenge. One of the proposed methods HINet) represents the new state of the art and outperforms the 1st place of the Dunhuang Challenge, while our combination ARIN, which is robust to noise, is comparable to the 1st place. We also present and discuss qualitative results showing the impact of our method for inpainting on Dunhuang cave images.
• Abstract（参考訳）: 画像強調アルゴリズムは、イメージ解像度がセンサーサイズによって物理的に制限される実世界のコンピュータビジョンタスクに非常に有用である。 最先端のディープニューラルネットワークは、画像の強化に印象的な結果を示す一方で、現実世界の画像の強化に苦慮することが多い。 本研究では,ダンフアン洞窟の画像のインペインティングという,現実世界の環境に挑戦する。 dunhuangデータセットは壁画で構成されており、その半分は腐食と老化に苦しんでいる。 これらの壁画は、仏像、菩薩像、スポンサー、建築、舞踊、音楽、そして10世紀にわたる異なる芸術家がデザインした装飾模様など、多彩な内容が特徴であり、手作業による修復が困難である。 我々は,SOTA(State-of-the-art)とデブロワーリングネットワークに基づく2つの既存手法(CAR, HINet)を修正した。 これらの劣化した洞窟の絵画を塗りつぶし、強化することができることを示す。 さらに、CARとHINetの新たな組み合わせにより、提案した塗装ネットワーク(ARIN)は外部ノイズ、特にガウスノイズに対して非常に堅牢であることを示す。 そこで本研究では,提案手法と既存のsotaネットワーク,およびdunhuangチャレンジの勝者との定量的・質的比較を行った。 hinet(提案されている方法の1つ)は、新しい最先端の芸術を表現し、dunhuangチャレンジの1位を上回り、ノイズに頑健なarinの組み合わせは1位に匹敵する。 また,Dunhuangの洞窟画像に対する塗布方法の影響を示す定性的な結果も提示した。

関連論文リスト

• HD-Painter: High-Resolution and Prompt-Faithful Text-Guided Image Inpainting with Diffusion Models [59.01600111737628]
  HD-Painterはトレーニングフリーのアプローチで、プロンプトを正確に追従し、高解像度の画像インパインティングにコヒーレントにスケールする。 そこで我々は,自己注意スコアを向上するPrompt-Aware Introverted Attention (PAIntA) 層を設計した。 実験の結果,HD-Painterは既存の最先端アプローチを定量的に,質的に超越していることがわかった。
  論文  参考訳（メタデータ） (2023-12-21T18:09:30Z)
• Multi-stage Progressive Reasoning for Dunhuang Murals Inpainting [5.167943379184235]
  ダンファンの壁画は、長期間の環境侵食の影響を受け、薄れ、壊れ、表面の脆さ、広範囲の剥離に悩まされている。 本稿では,多段階のプログレッシブ推論ネットワーク(MPR-Net)を設計する。 本手法は定性的および定量的な実験により評価され, 画像の塗装方法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-10T05:10:00Z)
• Dunhuang murals contour generation network based on convolution and self-attention fusion [3.118384520557952]
  本研究では,ダンファン壁画の線画を生成するために,自己注意と畳み込みを組み合わせた新しいエッジ検出器を提案する。 既存のエッジ検出手法と比較して、まず、特徴写像の局所的特徴とグローバル的特徴を融合させるために、新しい残差自己注意と畳み込み混合モジュール(Ramix)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T02:47:30Z)
• Free-Form Image Inpainting via Contrastive Attention Network [64.05544199212831]
  画像の塗装作業では、複雑なパターンを形成する画像のどこにでも、どんな形でもマスクが現れる。 エンコーダはこの複雑な状況下でこのような強力な表現を捕捉することは困難である。 本稿では,ロバスト性と一般化性を改善するための自己教師型シームズ推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-29T14:46:05Z)
• DeepGIN: Deep Generative Inpainting Network for Extreme Image Inpainting [45.39552853543588]
  本稿では,様々な種類のマスク画像を扱うために,DeepGINというディープ・ジェネレーション・インパインティング・ネットワークを提案する。 私たちのモデルは、野生でマスクされた画像を完成させることができます。
  論文  参考訳（メタデータ） (2020-08-17T09:30:28Z)
• Wavelet-Based Dual-Branch Network for Image Demoireing [148.91145614517015]
  画像復調のための空間的注意機構を備えたウェーブレットベースのデュアルブランチネットワーク(WDNet)を設計する。 我々のネットワークはウェーブレット領域のモアレパターンを除去し、モアレパターンの周波数を画像の内容から分離する。 さらに,本手法の有効性を実証し,WDNetが非スクリーン画像上のモアレアーティファクトの除去を一般化することを示す。
  論文  参考訳（メタデータ） (2020-07-14T16:44:30Z)
• Reconstructing the Noise Manifold for Image Denoising [56.562855317536396]
  本稿では,画像ノイズ空間の構造を明示的に活用するcGANを提案する。 画像ノイズの低次元多様体を直接学習することにより、この多様体にまたがる情報のみをノイズ画像から除去する。 我々の実験に基づいて、我々のモデルは既存の最先端アーキテクチャを大幅に上回っている。
  論文  参考訳（メタデータ） (2020-02-11T00:31:31Z)
• Very Long Natural Scenery Image Prediction by Outpainting [96.8509015981031]
  アウトペイントには2つの課題があるため、あまり注意を払わない。 第一の課題は、生成された画像と元の入力の間の空間的および内容的整合性を維持する方法である。 第2の課題は、生成した結果の高品質を維持する方法です。
  論文  参考訳（メタデータ） (2019-12-29T16:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。