論文の概要: AdaAttN: Revisit Attention Mechanism in Arbitrary Neural Style Transfer

• arxiv url: http://arxiv.org/abs/2108.03647v1
• Date: Sun, 8 Aug 2021 14:26:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-10 15:25:58.720088
• Title: AdaAttN: Revisit Attention Mechanism in Arbitrary Neural Style Transfer
• Title（参考訳）: AdaAttN: Arbitrary Neural Style Transferにおける再留意機構
• Authors: Songhua Liu, Tianwei Lin, Dongliang He, Fu Li, Meiling Wang, Xin Li, Zhengxing Sun, Qian Li, Errui Ding
• Abstract要約: 我々はアダプティブアテンション正規化(AdaAttN)という新しい注意・正規化モジュールを提案する。 具体的には、コンテンツとスタイルイメージの浅部と深部の両方から空間的注意スコアを学習する。 全てのスタイル特徴点の注目重み付き出力の分布として、スタイル特徴点に関するポイントごとの重み付き統計を算出する。 最後に、コンテンツ機能は正規化され、ポイントごとの重み付けされたスタイルの特徴統計と同じ局所的特徴統計を示す。
• 参考スコア（独自算出の注目度）: 44.08659730413871
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fast arbitrary neural style transfer has attracted widespread attention from academic, industrial and art communities due to its flexibility in enabling various applications. Existing solutions either attentively fuse deep style feature into deep content feature without considering feature distributions, or adaptively normalize deep content feature according to the style such that their global statistics are matched. Although effective, leaving shallow feature unexplored and without locally considering feature statistics, they are prone to unnatural output with unpleasing local distortions. To alleviate this problem, in this paper, we propose a novel attention and normalization module, named Adaptive Attention Normalization (AdaAttN), to adaptively perform attentive normalization on per-point basis. Specifically, spatial attention score is learnt from both shallow and deep features of content and style images. Then per-point weighted statistics are calculated by regarding a style feature point as a distribution of attention-weighted output of all style feature points. Finally, the content feature is normalized so that they demonstrate the same local feature statistics as the calculated per-point weighted style feature statistics. Besides, a novel local feature loss is derived based on AdaAttN to enhance local visual quality. We also extend AdaAttN to be ready for video style transfer with slight modifications. Experiments demonstrate that our method achieves state-of-the-art arbitrary image/video style transfer. Codes and models are available.
• Abstract（参考訳）: 高速な任意の神経様式の伝達は、様々な応用を可能にする柔軟性から、学術、産業、芸術のコミュニティから広く注目を集めている。 既存のソリューションは、特徴分布を考慮せずに、ディープなスタイルの機能をディープなコンテンツ機能に意図的に融合させるか、グローバルな統計が一致するスタイルに従ってディープなコンテンツ機能に適応的に正規化する。 浅度の特徴は探索されず、特徴統計をローカルに考慮することなく有効であるが、局所的な歪みを伴わずに不自然な出力をする傾向がある。 そこで本稿では,注意正規化モジュールであるadaptive attention normalization (adaattn)を提案し,ポイント単位の注意正規化を適応的に行う。 特に、コンテンツとスタイル画像の浅い特徴と深い特徴の両方から、空間的注意スコアを学習する。 そして、すべてのスタイル特徴点の注目重み付き出力の分布として、スタイル特徴点に関するポイントごとの重み付き統計を算出する。 最後に、コンテンツ機能は正規化され、計算されたポイント毎の重み付きスタイル特徴統計と同じ局所特徴統計を示す。 さらに、AdaAttNに基づく新たな局所的特徴損失が導出され、局所的な視覚的品質が向上する。 また、AdaAttNを少し修正してビデオスタイルの転送に対応できるように拡張します。 実験により,本手法が任意の画像/ビデオスタイルの転送を実現することを示す。 コードとモデルは利用可能である。

関連論文リスト

• The Overfocusing Bias of Convolutional Neural Networks: A Saliency-Guided Regularization Approach [11.524573224123905]
  CNNは入力画像の狭い特定の領域に基づいて決定を行う。 この振る舞いはモデルの一般化能力を著しく損なう可能性がある。 この問題に対処するために、SGDrop(Saliency Guided Dropout)を紹介します。
  論文  参考訳（メタデータ） (2024-09-25T21:30:16Z)
• Unleash the Power of Local Representations for Few-Shot Classification [6.722306005855269]
  訓練中に目に見えない新しいクラスに一般化することは、数発の分類において重要な課題である。 最近の計量法は局所的な表現によってこの問題に対処しようとする。 本研究では,局所表現の力を解き放ち,新しいクラスを一般化する手法を提案する。
  論文  参考訳（メタデータ） (2024-07-02T05:51:04Z)
• Condition-Invariant Semantic Segmentation [77.10045325743644]
  我々は現在最先端のドメイン適応アーキテクチャ上で条件不変セマンティック(CISS)を実装している。 本手法は,通常の都市景観$to$ACDCベンチマークにおいて,2番目に高い性能を実現する。 CISSはBDD100K-nightやACDC-nightのようなトレーニング中に見えない領域によく一般化している。
  論文  参考訳（メタデータ） (2023-05-27T03:05:07Z)
• Randomized Adversarial Style Perturbations for Domain Generalization [49.888364462991234]
  本稿では,RASP(Randomized Adversarial Style Perturbation)と呼ばれる新しい領域一般化手法を提案する。 提案アルゴリズムは, ランダムに選択されたクラスに対して, 対角方向の特徴のスタイルを乱し, 予期せぬ対象領域で観測される予期せぬスタイルに誤解されないよう, モデルを学習させる。 提案アルゴリズムは,様々なベンチマークによる広範な実験により評価され,特に大規模ベンチマークにおいて,領域一般化性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-04-04T17:07:06Z)
• All-to-key Attention for Arbitrary Style Transfer [98.83954812536521]
  コンテンツ特徴のそれぞれの位置を,スタイル特徴の安定なキー位置と一致させる,新しいオール・ツー・キーアテンション機構を提案する。 結果、StyA2Kと呼ばれるモジュールは、セマンティック構造を保持し、一貫性のあるスタイルパターンをレンダリングする際、素晴らしいパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-12-08T06:46:35Z)
• Learning Graph Neural Networks for Image Style Transfer [131.73237185888215]
  最先端のパラメトリックおよび非パラメトリックなスタイル転送アプローチは、グローバルな統計アライメントによる局所的なスタイルパターンの歪んだり、パッチミスマッチによるアーティファクトを減らしたりする傾向にある。 本稿では,パラメトリック型と非パラメトリック型の両方のスタイライゼーションの欠如を緩和する,新しい半パラメトリック型ニューラルスタイルトランスファーフレームワークについて検討する。
  論文  参考訳（メタデータ） (2022-07-24T07:41:31Z)
• SAFIN: Arbitrary Style Transfer With Self-Attentive Factorized Instance Normalization [71.85169368997738]
  芸術的スタイル転送は、ある画像のスタイル特性を他の画像に移し、その内容を保持することを目的としている。 自己注意に基づくアプローチは、部分的な成功でこの問題に取り組みましたが、望ましくない成果物に悩まされています。 本論文は,自己意識と正規化という両世界のベストを結合することを目的とする。
  論文  参考訳（メタデータ） (2021-05-13T08:01:01Z)
• In the light of feature distributions: moment matching for Neural Style Transfer [27.25600860698314]
  スタイル転送は、ある画像のコンテンツを別の画像のグラフィカル/アーティスティックスタイルでレンダリングすることを目的としています。 この概念の現在の実装は、理論上、実用上重要な制限がある。 計算効率を保ちながら、希望するスタイルをより正確にマッチさせる新しいアプローチを提案します。
  論文  参考訳（メタデータ） (2021-03-12T11:00:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。