論文の概要: AesPA-Net: Aesthetic Pattern-Aware Style Transfer Networks
- arxiv url: http://arxiv.org/abs/2307.09724v3
- Date: Tue, 8 Aug 2023 13:14:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-09 16:26:05.062252
- Title: AesPA-Net: Aesthetic Pattern-Aware Style Transfer Networks
- Title（参考訳）: AesPA-Net:美的パターン認識型転送ネットワーク
- Authors: Kibeom Hong, Seogkyu Jeon, Junsoo Lee, Namhyuk Ahn, Kunhee Kim,
Pilhyeon Lee, Daesik Kim, Youngjung Uh, Hyeran Byun
- Abstract要約: 我々は、注意機構の強化と、スタイルを整理するパターンのリズムの獲得に重点を置いている。
パターンの再現性に基づいて、AesPA-Net(Aesthetic Pattern-Aware Style Transfer Networks)を提案する。
さらに,注意機構が正確で意味のある意味的対応を学習することを奨励する,新たな自己監督タスクを提案する。
- 参考スコア（独自算出の注目度）: 28.136463099603564
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: To deliver the artistic expression of the target style, recent studies
exploit the attention mechanism owing to its ability to map the local patches
of the style image to the corresponding patches of the content image. However,
because of the low semantic correspondence between arbitrary content and
artworks, the attention module repeatedly abuses specific local patches from
the style image, resulting in disharmonious and evident repetitive artifacts.
To overcome this limitation and accomplish impeccable artistic style transfer,
we focus on enhancing the attention mechanism and capturing the rhythm of
patterns that organize the style. In this paper, we introduce a novel metric,
namely pattern repeatability, that quantifies the repetition of patterns in the
style image. Based on the pattern repeatability, we propose Aesthetic
Pattern-Aware style transfer Networks (AesPA-Net) that discover the sweet spot
of local and global style expressions. In addition, we propose a novel
self-supervisory task to encourage the attention mechanism to learn precise and
meaningful semantic correspondence. Lastly, we introduce the patch-wise style
loss to transfer the elaborate rhythm of local patterns. Through qualitative
and quantitative evaluations, we verify the reliability of the proposed pattern
repeatability that aligns with human perception, and demonstrate the
superiority of the proposed framework.
- Abstract（参考訳）: 対象のスタイルを芸術的に表現するために、近年の研究では、スタイル画像の局所パッチをコンテンツ画像の対応するパッチにマッピングする能力により、注意機構を活用している。
しかし、任意の内容とアートワークのセマンティックな対応が低いため、アテンションモジュールはスタイルイメージから特定のローカルパッチを乱用し、不調和で明らかな反復的なアーティファクトをもたらす。
この制限を克服し,芸術的なスタイルの伝達を困難にするため,注意機構の強化とスタイルを整理するパターンのリズムの獲得に重点を置いている。
本稿では,スタイル画像におけるパターンの反復を定量化する新しい指標であるパターン反復可能性について述べる。
このパターン再現性に基づき,局所的およびグローバル的表現のスイートスポットを探索する美的パターン認識型転送ネットワーク(aespa-net)を提案する。
さらに,注意機構が正確で意味のある意味的対応を学習することを奨励する,新たな自己監督タスクを提案する。
最後に,局所パターンの精巧なリズムを伝達するためにパッチワイズスタイルロスを導入する。
定量的に定量的な評価を行い,人間の知覚に適合するパターン再現性の信頼性を検証し,提案手法の優れていることを示す。
関連論文リスト
- Locally Stylized Neural Radiance Fields [30.037649804991315]
局所的なスタイル伝達に基づくニューラルレイディアンスフィールド(NeRF)のスタイリングフレームワークを提案する。
特に、ハッシュグリッド符号化を用いて外観や幾何学的要素の埋め込みを学習する。
提案手法は, 新規なビュー合成により, 可視なスタイリゼーション結果が得られることを示す。
論文 参考訳（メタデータ） (2023-09-19T15:08:10Z) - TSSAT: Two-Stage Statistics-Aware Transformation for Artistic Style
Transfer [22.16475032434281]
芸術的スタイルの転送は、対象の芸術的スタイルで与えられた写真をレンダリングすることで、新しい芸術的イメージを作成することを目的としている。
既存の手法では、グローバルな統計や局所的なパッチに基づいてスタイルを学習し、実際の描画過程の注意深い考慮を欠いている。
本稿では,コンテンツとスタイルの特徴のグローバルな統計を整合させて,まずグローバルなスタイル基盤を構築する2段階統計認識変換(TSSAT)モジュールを提案する。
コンテンツとスタイルの表現をさらに強化するために、注意に基づくコンテンツ損失とパッチベースのスタイル損失という2つの新しい損失を導入する。
論文 参考訳（メタデータ） (2023-09-12T07:02:13Z) - ALADIN-NST: Self-supervised disentangled representation learning of
artistic style through Neural Style Transfer [60.6863849241972]
我々は、画像に描かれた意味的内容から、より強く絡み合った視覚芸術スタイルの表現を学習する。
スタイルと内容の絡み合いに強く対処することで、スタイル固有のメトリクスが大きく向上することを示します。
論文 参考訳（メタデータ） (2023-04-12T10:33:18Z) - A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive
Learning [84.8813842101747]
Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。
入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。
本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
論文 参考訳（メタデータ） (2023-03-09T04:35:00Z) - All-to-key Attention for Arbitrary Style Transfer [98.83954812536521]
コンテンツ特徴のそれぞれの位置を,スタイル特徴の安定なキー位置と一致させる,新しいオール・ツー・キーアテンション機構を提案する。
結果、StyA2Kと呼ばれるモジュールは、セマンティック構造を保持し、一貫性のあるスタイルパターンをレンダリングする際、素晴らしいパフォーマンスを示す。
論文 参考訳（メタデータ） (2022-12-08T06:46:35Z) - Learning Graph Neural Networks for Image Style Transfer [131.73237185888215]
最先端のパラメトリックおよび非パラメトリックなスタイル転送アプローチは、グローバルな統計アライメントによる局所的なスタイルパターンの歪んだり、パッチミスマッチによるアーティファクトを減らしたりする傾向にある。
本稿では,パラメトリック型と非パラメトリック型の両方のスタイライゼーションの欠如を緩和する,新しい半パラメトリック型ニューラルスタイルトランスファーフレームワークについて検討する。
論文 参考訳（メタデータ） (2022-07-24T07:41:31Z) - SimAN: Exploring Self-Supervised Representation Learning of Scene Text
via Similarity-Aware Normalization [66.35116147275568]
自己指導型表現学習は、現場テキスト認識コミュニティからかなりの注目を集めている。
表現学習スキームを生成的手法で定式化することで,この問題に対処する。
そこで我々は,異なるパターンを識別し,対応するスタイルを誘導パッチから整列するSimANモジュールを提案する。
論文 参考訳（メタデータ） (2022-03-20T08:43:10Z) - Drafting and Revision: Laplacian Pyramid Network for Fast High-Quality
Artistic Style Transfer [115.13853805292679]
アートスタイルの転送は、サンプルイメージからコンテンツイメージへのスタイルの移行を目的としている。
図案作成と細部改訂の共通画法に触発されて,ラプラシアンピラミッドネットワーク(LapStyle)という新しいフィードフォワード方式を導入する。
本手法は, 定型的パターンを適切に伝達した高品質なスタイリズド画像をリアルタイムで合成する。
論文 参考訳（メタデータ） (2021-04-12T11:53:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。