論文の概要: Perceptual Artifacts Localization for Inpainting

• arxiv url: http://arxiv.org/abs/2208.03357v1
• Date: Fri, 5 Aug 2022 18:50:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-09 13:07:12.166130
• Title: Perceptual Artifacts Localization for Inpainting
• Title（参考訳）: インペインティングにおける知覚的アーティファクトの局在
• Authors: Lingzhi Zhang, Yuqian Zhou, Connelly Barnes, Sohrab Amirghodsi, Zhe Lin, Eli Shechtman, Jianbo Shi
• Abstract要約: そこで本研究では,知覚的アーティファクトの自動セグメンテーションの学習タスクを提案する。 データセット上で高度なセグメンテーションネットワークをトレーニングし、インペイントされた画像内のインペイントされたアーティファクトを確実にローカライズする。 また, 対象領域と対象領域全体との比率である知覚人工物比 (PAR) という新しい評価指標を提案する。
• 参考スコア（独自算出の注目度）: 60.5659086595901
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image inpainting is an essential task for multiple practical applications like object removal and image editing. Deep GAN-based models greatly improve the inpainting performance in structures and textures within the hole, but might also generate unexpected artifacts like broken structures or color blobs. Users perceive these artifacts to judge the effectiveness of inpainting models, and retouch these imperfect areas to inpaint again in a typical retouching workflow. Inspired by this workflow, we propose a new learning task of automatic segmentation of inpainting perceptual artifacts, and apply the model for inpainting model evaluation and iterative refinement. Specifically, we first construct a new inpainting artifacts dataset by manually annotating perceptual artifacts in the results of state-of-the-art inpainting models. Then we train advanced segmentation networks on this dataset to reliably localize inpainting artifacts within inpainted images. Second, we propose a new interpretable evaluation metric called Perceptual Artifact Ratio (PAR), which is the ratio of objectionable inpainted regions to the entire inpainted area. PAR demonstrates a strong correlation with real user preference. Finally, we further apply the generated masks for iterative image inpainting by combining our approach with multiple recent inpainting methods. Extensive experiments demonstrate the consistent decrease of artifact regions and inpainting quality improvement across the different methods.
• Abstract（参考訳）: 画像のインペイントは、オブジェクトの削除や画像編集など、複数の実用的なアプリケーションに必須のタスクである。 深いganベースのモデルは、穴内の構造やテクスチャの塗り込み性能を大幅に改善するが、破損した構造やカラーブロブのような予期せぬアーティファクトを生成することもある。 ユーザはこれらのアーティファクトを知覚して、塗り込みモデルの有効性を判断し、典型的な塗り替えワークフローで再び塗り替えるためにこれらの不完全な部分を再タッチします。 このワークフローに触発されて,知覚的アーティファクトの自動分割による新しい学習タスクを提案し,モデル評価と反復的洗練のためのモデルを適用する。 具体的には、まず、最先端のインペイントモデルの結果に知覚的アーティファクトを手動でアノテートすることで、新しいインペイントアーティファクトデータセットを構築する。 次に,このデータセット上で高度なセグメンテーションネットワークを訓練し,インペイント画像内のインペイントアーティファクトを確実にローカライズする。 第二に, 知覚的アーティファクト比(par)と呼ばれる新たな解釈可能な評価指標を提案する。 PARは実際のユーザの好みと強い相関を示す。 最後に,本手法と最近の複数のインペインティング手法を組み合わせることで,画像インペインティングに生成マスクを適用した。 広範な実験により、アーティファクト領域の一貫した減少と、異なる方法による品質向上が示されている。

関連論文リスト

• Dense Feature Interaction Network for Image Inpainting Localization [28.028361409524457]
  画像の悪質な操作において、画像内容の隠蔽や改ざんに使用することができる。 既存の手法は主に基本的なエンコーダ・デコーダ構造に依存しており、多くの場合、偽陽性が多くなる。 本稿では,Dense Feature Interaction Network (DeFI-Net) に基づく新しい塗り絵検出手法について述べる。
  論文  参考訳（メタデータ） (2024-08-05T02:35:13Z)
• RefFusion: Reference Adapted Diffusion Models for 3D Scene Inpainting [63.567363455092234]
  RefFusionは,画像インペイント拡散モデルのマルチスケールパーソナライズに基づく,新しい3Dインペイント手法である。 我々のフレームワークは、制御性を維持しながら、オブジェクト除去の最先端の成果を達成する。
  論文  参考訳（メタデータ） (2024-04-16T17:50:02Z)
• Fill in the ____ (a Diffusion-based Image Inpainting Pipeline) [0.0]
  塗り絵は、画像を撮り、失った、または故意に隠された部分を生成する過程である。 現代の塗装技術は、有能な完成物を生成する際、顕著な能力を示している。 既存のモデルにおける重要なギャップに対処し、何が正確に生成されたかをプロンプトし制御する能力に焦点を当てる。
  論文  参考訳（メタデータ） (2024-03-24T05:26:55Z)
• Stroke-based Neural Painting and Stylization with Dynamically Predicted Painting Region [66.75826549444909]
  ストロークベースのレンダリングは、ストロークのセットで画像を再現することを目的としている。 本研究では,現在のキャンバスに基づいて絵画領域を予測する合成ニューラルネットワークを提案する。 我々は、新しい微分可能な距離変換損失を伴って、ストロークベースのスタイル転送に拡張する。
  論文  参考訳（メタデータ） (2023-09-07T06:27:39Z)
• Line Drawing Guided Progressive Inpainting of Mural Damage [18.768636785377645]
  線画ガイドによるプログレッシブ壁画の塗装法を提案する。 塗装工程は、構造復元と色補正の2段階に分けられる。 提案手法は,現在の画像塗装法に対して評価される。
  論文  参考訳（メタデータ） (2022-11-12T12:22:11Z)
• Learning Prior Feature and Attention Enhanced Image Inpainting [63.21231753407192]
  本稿では,事前学習に基づくMasked AutoEncoder(MAE)を塗装モデルに組み込む。 マスク付き領域とマスキングされていない領域間の長距離依存性をより学習させるために,MAE の注意点を用いた手法を提案する。
  論文  参考訳（メタデータ） (2022-08-03T04:32:53Z)
• Improve Deep Image Inpainting by Emphasizing the Complexity of Missing Regions [20.245637164975594]
  本稿では,古典的画像複雑性メトリクスの助けを借りて,ディープイメージのインペイントモデルを強化する。 学習手順におけるバッチ選択を導くために、不足複雑性と前方損失からなる知識支援指標を示す。 我々は,最近開発された様々なデータセットに対する画像インペイントモデルの改良を実験的に実証した。
  論文  参考訳（メタデータ） (2022-02-13T09:14:52Z)
• Restore from Restored: Single-image Inpainting [9.699531255678856]
  インペイントネットワークのための,新しい,効率的な自己教師型微調整アルゴリズムを提案する。 既存の自己相似パッチを用いて,事前学習した塗装ネットワークのパラメータを更新する。 公開されているベンチマークデータセット上で、最先端の塗装結果を得る。
  論文  参考訳（メタデータ） (2021-10-25T11:38:51Z)
• In&Out : Diverse Image Outpainting via GAN Inversion [89.84841983778672]
  image outpaintingは、利用可能なコンテンツを超えて、入力画像の意味的に一貫した拡張を求める。 本研究では、生成的対向ネットワークの反転の観点から問題を定式化する。 私達の発電機はイメージの彼らの共同潜入コードそして個々の位置で調節されるマイクロ パッチをレンダリングします。
  論文  参考訳（メタデータ） (2021-04-01T17:59:10Z)
• High-Resolution Image Inpainting with Iterative Confidence Feedback and Guided Upsampling [122.06593036862611]
  既存の画像塗装法は、実アプリケーションで大きな穴を扱う際に、しばしばアーティファクトを生成する。 本稿では,フィードバック機構を備えた反復インペイント手法を提案する。 実験により,本手法は定量評価と定性評価の両方において既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2020-05-24T13:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。