論文の概要: Patch-Based Stochastic Attention for Image Editing

• arxiv url: http://arxiv.org/abs/2202.03163v4
• Date: Wed, 1 Nov 2023 09:35:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 18:46:54.020205
• Title: Patch-Based Stochastic Attention for Image Editing
• Title（参考訳）: パッチに基づく画像編集のための確率的注意
• Authors: Nicolas Cherel, Andr\'es Almansa, Yann Gousseau, Alasdair Newson
• Abstract要約: PatchMatchアルゴリズムをベースとした,近接する近傍近傍の同定に有効なアテンション層を提案する。 画像インペイント, ガイド画像のカラー化, シングルイメージ超解像など, 画像編集作業におけるPSALの有用性を示す。
• 参考スコア（独自算出の注目度）: 4.8201607588546
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Attention mechanisms have become of crucial importance in deep learning in recent years. These non-local operations, which are similar to traditional patch-based methods in image processing, complement local convolutions. However, computing the full attention matrix is an expensive step with heavy memory and computational loads. These limitations curb network architectures and performances, in particular for the case of high resolution images. We propose an efficient attention layer based on the stochastic algorithm PatchMatch, which is used for determining approximate nearest neighbors. We refer to our proposed layer as a "Patch-based Stochastic Attention Layer" (PSAL). Furthermore, we propose different approaches, based on patch aggregation, to ensure the differentiability of PSAL, thus allowing end-to-end training of any network containing our layer. PSAL has a small memory footprint and can therefore scale to high resolution images. It maintains this footprint without sacrificing spatial precision and globality of the nearest neighbors, which means that it can be easily inserted in any level of a deep architecture, even in shallower levels. We demonstrate the usefulness of PSAL on several image editing tasks, such as image inpainting, guided image colorization, and single-image super-resolution. Our code is available at: https://github.com/ncherel/psal
• Abstract（参考訳）: 近年,深層学習において注意のメカニズムが重要になっている。 これらの非ローカルな操作は、画像処理における従来のパッチベースの方法に似ているが、局所的な畳み込みを補完する。 しかしながら、フルアテンション行列の計算は、重いメモリと計算負荷を伴う高価なステップである。 これらの制限は、特に高解像度画像の場合、ネットワークアーキテクチャとパフォーマンスを阻害する。 本稿では,近距離近傍の確率的アルゴリズムであるpatchmatchに基づく効率的な注意層を提案する。 我々は提案したレイヤを「パッチベースの確率的注意層(PSAL)」と呼ぶ。 さらに、パッチアグリゲーションに基づく異なるアプローチを提案し、PSALの差別性を確保することにより、我々の層を含むネットワークのエンドツーエンドトレーニングを可能にする。 PSALはメモリフットプリントが小さいため、高解像度の画像にスケールできる。 このフットプリントは、近接する隣人の空間的正確性とグローバル性を犠牲にすることなく維持されるため、浅いレベルであっても、あらゆるレベルの深層アーキテクチャに容易に挿入することができる。 画像インペイント, ガイド画像のカラー化, シングルイメージ超解像など, 画像編集作業におけるPSALの有用性を示す。 私たちのコードは、https://github.com/ncherel/psalで利用可能です。

関連論文リスト

• Learning to Rank Patches for Unbiased Image Redundancy Reduction [80.93989115541966]
  画像は、隣接する領域の画素が空間的に相関しているため、空間的冗長性に悩まされる。 既存のアプローチでは、意味の少ない画像領域を減らし、この制限を克服しようとしている。 本稿では,Learning to Rank Patchesと呼ばれる画像冗長性低減のための自己教師型フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-31T13:12:41Z)
• T-former: An Efficient Transformer for Image Inpainting [50.43302925662507]
  トランスフォーマーと呼ばれる注目に基づくネットワークアーキテクチャのクラスは、自然言語処理の分野で大きなパフォーマンスを示している。 本稿では,Taylorの展開に応じて,解像度に線形に関連付けられた新たな注意を設計し,この注意に基づいて,画像インペイントのためのネットワークである$T$-formerを設計する。 いくつかのベンチマークデータセットの実験により,提案手法は比較的少ないパラメータ数と計算複雑性を維持しつつ,最先端の精度を達成できることが示されている。
  論文  参考訳（メタデータ） (2023-05-12T04:10:42Z)
• DBAT: Dynamic Backward Attention Transformer for Material Segmentation with Cross-Resolution Patches [8.812837829361923]
  クロスレゾリューション特徴を集約する動的後方アテンション変換器(DBAT)を提案する。 実験の結果,DBATの精度は86.85%であり,最先端のリアルタイムモデルの中では最高の性能であることがわかった。 さらに,提案モデルが他の手法よりも優れた材料関連特徴を抽出できることを示すため,セマンティックなラベルにアライメントし,ネットワーク分割を行う。
  論文  参考訳（メタデータ） (2023-05-06T03:47:20Z)
• PATS: Patch Area Transportation with Subdivision for Local Feature Matching [78.67559513308787]
  局所特徴マッチングは、一対のイメージ間のスパース対応を確立することを目的としている。 この問題に対処するために,PATS(Patch Area Transportation with Subdivision)を提案する。 PATSは、マッチング精度とカバレッジの両方を改善し、下流タスクにおいて優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-03-14T08:28:36Z)
• From Coarse to Fine: Hierarchical Pixel Integration for Lightweight Image Super-Resolution [41.0555613285837]
  トランスフォーマーモデルによる画像超解像(SR)の競争性能の向上 SRネットワークのローカルマップ(LAM)の解釈から洞察を得た新しいアテンションブロックを提案する。 細部では、パッチ内自己注意属性(IPSA)モジュールを使用して、局所パッチ内の長距離画素依存性をモデル化する。
  論文  参考訳（メタデータ） (2022-11-30T06:32:34Z)
• Accurate Image Restoration with Attention Retractable Transformer [50.05204240159985]
  画像復元のためのアテンション・リトラクタブル・トランス (ART) を提案する。 ARTはネットワーク内の密集モジュールと疎開モジュールの両方を提示する。 画像超解像、デノナイジング、JPEG圧縮アーティファクト削減タスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-10-04T07:35:01Z)
• HIPA: Hierarchical Patch Transformer for Single Image Super Resolution [62.7081074931892]
  本稿では,階層型パッチ分割を用いた高解像度画像を段階的に復元する新しいトランスフォーマーアーキテクチャHIPAを提案する。 入力画像を複数のステージで処理するカスケードモデルを構築し、小さなパッチサイズでトークンから始めて、徐々に全解像度にマージします。 このような階層的なパッチ機構は、複数の解像度で機能集約を可能にするだけでなく、異なる画像領域に対するパッチ認識機能も適応的に学習する。
  論文  参考訳（メタデータ） (2022-03-19T05:09:34Z)
• Texture Memory-Augmented Deep Patch-Based Image Inpainting [121.41395272974611]
  本研究では,未成熟領域から抽出したパッチサンプルのテクスチャメモリによってテクスチャ生成をガイドする,新しいディープ・インペイント・フレームワークを提案する。 このフレームワークは、テクスチャメモリの検索を、ディープ・インパインティング・ネットワークでエンドツーエンドにトレーニングできる新しい設計である。 提案手法は,3つの課題の画像ベンチマークにおいて,質的かつ定量的に優れた性能を示す。
  論文  参考訳（メタデータ） (2020-09-28T12:09:08Z)
• High-Resolution Deep Image Matting [39.72708676319803]
  HDMattは、高解像度入力のための最初のディープラーニングベースの画像マッチングアプローチである。 提案手法は,Adobe Image Matting と AlphaMatting のベンチマーク上で,最先端の性能を新たに設定する。
  論文  参考訳（メタデータ） (2020-09-14T17:53:15Z)
• PNEN: Pyramid Non-Local Enhanced Networks [23.17149002568982]
  我々は,各画素間の接続を構築するために,新しい非局所モジュールであるピラミッド非局所ブロックを提案する。 提案したモジュールに基づいて,エッジ保存画像平滑化のためのピラミッド非局所拡張ネットワークを考案する。 超解像法と超解像法という2つの既存手法に統合し,一貫した性能向上を実現した。
  論文  参考訳（メタデータ） (2020-08-22T03:10:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。