論文の概要: Image inpainting enhancement by replacing the original mask with a self-attended region from the input image
- arxiv url: http://arxiv.org/abs/2411.05705v1
- Date: Fri, 08 Nov 2024 17:04:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-11 14:53:52.824714
- Title: Image inpainting enhancement by replacing the original mask with a self-attended region from the input image
- Title（参考訳）: 入力画像から原マスクを自己付加領域に置き換えることによる画像強調
- Authors: Kourosh Kiani, Razieh Rastgoo, Alireza Chaji, Sergio Escalera,
- Abstract要約: 視覚変換器(ViT)を用いた画像インペイントのための新しい深層学習に基づく事前処理手法を提案する。
当社のアプローチでは,マスク付き画素値をViTで生成されたものと置き換えることによって,注目行列内の多様な視覚的パッチを活用し,識別空間的特徴を捉える。
- 参考スコア（独自算出の注目度）: 44.8450669068833
- License:
- Abstract: Image inpainting, the process of restoring missing or corrupted regions of an image by reconstructing pixel information, has recently seen considerable advancements through deep learning-based approaches. In this paper, we introduce a novel deep learning-based pre-processing methodology for image inpainting utilizing the Vision Transformer (ViT). Our approach involves replacing masked pixel values with those generated by the ViT, leveraging diverse visual patches within the attention matrix to capture discriminative spatial features. To the best of our knowledge, this is the first instance of such a pre-processing model being proposed for image inpainting tasks. Furthermore, we show that our methodology can be effectively applied using the pre-trained ViT model with pre-defined patch size. To evaluate the generalization capability of the proposed methodology, we provide experimental results comparing our approach with four standard models across four public datasets, demonstrating the efficacy of our pre-processing technique in enhancing inpainting performance.
- Abstract（参考訳）: 画像インペイントは、画像の欠落した領域や破損した領域を画素情報の再構成によって復元するプロセスであり、近年、深層学習に基づくアプローチによってかなりの進歩を遂げている。
本稿では,視覚変換器(ViT)を用いた画像インペイントのための,新しいディープラーニングによる事前処理手法を提案する。
当社のアプローチでは,マスク付き画素値をViTで生成されたものと置き換えることによって,注目行列内の多様な視覚的パッチを活用し,識別空間的特徴を捉える。
我々の知る限りでは、このような前処理モデルが画像処理タスクのために提案されている最初の例である。
さらに,本手法は,事前定義されたパッチサイズを持つ事前学習型ViTモデルを用いて効果的に適用可能であることを示す。
提案手法の一般化能力を評価するために,提案手法を4つの公開データセットにまたがる4つの標準モデルと比較した実験結果を提案する。
関連論文リスト
- PrefPaint: Aligning Image Inpainting Diffusion Model with Human Preference [62.72779589895124]
画像インペイントのための拡散モデルと人間の審美基準との整合性を、強化学習フレームワークを用いて初めて試みる。
我々は、人間の好みを付加した約51,000枚の画像からなるデータセットで報酬モデルを訓練する。
画像拡張や3次元再構成などの下流タスクの塗装比較実験により, 提案手法の有効性が示された。
論文 参考訳（メタデータ） (2024-10-29T11:49:39Z) - Sketch-guided Image Inpainting with Partial Discrete Diffusion Process [5.005162730122933]
スケッチ誘導インペイントのための新しい部分離散拡散法(PDDP)を提案する。
PDDPは画像のマスキング領域を破損させ、手描きスケッチで条件付けられたこれらのマスキング領域を再構築する。
提案するトランスモジュールは,2つの入力を受信する。マスク領域を含む画像はインペイントされ,クエリスケッチは逆拡散過程をモデル化する。
論文 参考訳（メタデータ） (2024-04-18T07:07:38Z) - Patch-Wise Self-Supervised Visual Representation Learning: A Fine-Grained Approach [4.9204263448542465]
本研究は、パッチレベルの識別を自己教師付き視覚表現学習に組み込むことにより、革新的できめ細かな次元を導入する。
それぞれのパッチは個別に拡張され、同じビュー内の他のパッチとは独立している。
我々は、拡張ビュー全体にわたって対応するパッチを見つけるための、単純で効果的なパッチマッチングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-28T09:35:30Z) - Pixel-Inconsistency Modeling for Image Manipulation Localization [63.54342601757723]
デジタル画像法医学は、画像認証と操作のローカライゼーションにおいて重要な役割を果たす。
本稿では,画素不整合アーチファクトの解析を通じて,一般化されたロバストな操作ローカライゼーションモデルを提案する。
実験により,本手法は固有の画素不整合偽指紋を抽出することに成功した。
論文 参考訳（メタデータ） (2023-09-30T02:54:51Z) - ViCE: Self-Supervised Visual Concept Embeddings as Contextual and Pixel
Appearance Invariant Semantic Representations [77.3590853897664]
本研究は,NLPにおける単語埋め込みの学習方法に着想を得た画像に対して,意味論的にリッチな視覚埋め込みを学習するための自己指導的手法を提案する。
論文 参考訳（メタデータ） (2021-11-24T12:27:30Z) - Deep Reparametrization of Multi-Frame Super-Resolution and Denoising [167.42453826365434]
本稿では,多フレーム画像復元作業によく用いられる最大後部定式化の深部再パラメータ化を提案する。
提案手法は,学習された誤差メトリックと,対象画像の潜在表現を導入することによって導かれる。
我々は、バースト復調およびバースト超解像データセットに関する包括的な実験を通して、我々のアプローチを検証する。
論文 参考訳（メタデータ） (2021-08-18T17:57:02Z) - PerceptionGAN: Real-world Image Construction from Provided Text through
Perceptual Understanding [11.985768957782641]
本稿では,識別器モジュールに知覚的理解を取り入れ,優れた画像を提供する手法を提案する。
複数の段階で画像分布をモデル化しながら、初期画像に含まれる知覚情報が改善されることを示す。
さらに重要なことに、提案手法は他の最先端のテキストベース画像生成モデルのパイプラインに統合することができる。
論文 参考訳（メタデータ） (2020-07-02T09:23:08Z) - Distilling Localization for Self-Supervised Representation Learning [82.79808902674282]
コントラスト学習は教師なし表現学習に革命をもたらした。
現在のコントラストモデルでは、前景オブジェクトのローカライズには効果がない。
本稿では,背景変化を学習するためのデータ駆動型手法を提案する。
論文 参考訳（メタデータ） (2020-04-14T16:29:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。