論文の概要: AesFA: An Aesthetic Feature-Aware Arbitrary Neural Style Transfer

• arxiv url: http://arxiv.org/abs/2312.05928v3
• Date: Thu, 22 Feb 2024 18:57:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 18:10:48.391957
• Title: AesFA: An Aesthetic Feature-Aware Arbitrary Neural Style Transfer
• Title（参考訳）: AesFA: 美的特徴を意識した任意型ニューラルネットワーク
• Authors: Joonwoo Kwon, Sooyoung Kim, Yuewei Lin, Shinjae Yoo, Jiook Cha
• Abstract要約: この研究は軽量だが効果的なモデルであるAesFA -- Aesthetic Feature-Aware NSTを提案する。 第一の考え方は、イメージをその周波数で分解して、参照画像から美的スタイルをうまく切り離すことである。 ネットワークがより明確な表現を抽出する能力を改善するために、この研究は新たな美的特徴であるコントラッシブ・ロスを導入した。
• 参考スコア（独自算出の注目度）: 6.518925259025401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural style transfer (NST) has evolved significantly in recent years. Yet, despite its rapid progress and advancement, existing NST methods either struggle to transfer aesthetic information from a style effectively or suffer from high computational costs and inefficiencies in feature disentanglement due to using pre-trained models. This work proposes a lightweight but effective model, AesFA -- Aesthetic Feature-Aware NST. The primary idea is to decompose the image via its frequencies to better disentangle aesthetic styles from the reference image while training the entire model in an end-to-end manner to exclude pre-trained models at inference completely. To improve the network's ability to extract more distinct representations and further enhance the stylization quality, this work introduces a new aesthetic feature: contrastive loss. Extensive experiments and ablations show the approach not only outperforms recent NST methods in terms of stylization quality, but it also achieves faster inference. Codes are available at https://github.com/Sooyyoungg/AesFA.
• Abstract（参考訳）: ニューラルスタイル転送(NST)は近年大きく進歩している。 しかし、その急速な進歩と進歩にもかかわらず、既存のNST手法は、あるスタイルから美的情報を効果的に伝達するのに苦労するか、あるいは事前訓練されたモデルの使用による特徴のゆがみに高い計算コストと非効率に苦しむかのいずれかである。 この研究は軽量だが効果的なモデルであるAesFA -- Aesthetic Feature-Aware NSTを提案する。 主なアイデアは、モデル全体をエンドツーエンドでトレーニングしながら、その周波数でイメージを分解し、参照画像から審美的なスタイルを分離し、推論時に事前訓練されたモデルを完全に排除することである。 ネットワークがより明確な表現を抽出し、スタイライズ品質をさらに向上する能力を向上させるため、本研究では、新しい美的特徴であるコントラッシブ・ロスを導入する。 大規模な実験と改善は、最近のNST法をスタイリング品質で上回るだけでなく、より高速な推論も達成していることを示している。 コードはhttps://github.com/Sooyyoungg/AesFAで入手できる。

関連論文リスト

• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• Intra-task Mutual Attention based Vision Transformer for Few-Shot Learning [12.5354658533836]
  人間は、ほんのわずかの例に晒された後に、新しい、目に見えない画像を正確に分類する能力を持っている。 人工ニューラルネットワークモデルでは、限られたサンプルを持つ2つのイメージを区別する最も関連性の高い特徴を決定することが課題である。 本稿では,サポートとクエリサンプルをパッチに分割するタスク内相互注意手法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T02:02:57Z)
• Controlling Neural Style Transfer with Deep Reinforcement Learning [55.480819498109746]
  本稿では,一段階のスタイル移行をステップワイズプロセスに分割する,最初の深層強化学習に基づくアーキテクチャを提案する。 提案手法は,コンテンツ画像の詳細や構造を早期に保存し,後続のステップでさらに多くのスタイルパターンを合成する傾向がある。
  論文  参考訳（メタデータ） (2023-09-30T15:01:02Z)
• WSAM: Visual Explanations from Style Augmentation as Adversarial Attacker and Their Influence in Image Classification [2.282270386262498]
  本稿では,一般線形変換におけるランダム化の改善に加えて,ノイズベースサンプリングを用いたスタイル拡張アルゴリズムについて概説する。 すべてのモデルは、画像のスタイリングに対して驚くべき堅牢性を示すだけでなく、以前のすべての手法よりも優れており、STL-10データセットの最先端性能を上回っている。
  論文  参考訳（メタデータ） (2023-08-29T02:50:36Z)
• DIFF-NST: Diffusion Interleaving For deFormable Neural Style Transfer [27.39248034592382]
  変形可能なスタイル転送を実現しつつ,新しいモデルのクラスを用いてスタイル転送を行う。 これらのモデルの先行モデルを活用することで、推論時に新たな芸術的コントロールが公開できることを示す。
  論文  参考訳（メタデータ） (2023-07-09T12:13:43Z)
• Contrastive Learning Rivals Masked Image Modeling in Fine-tuning via Feature Distillation [42.37533586611174]
  Masked Image Modeling (MIM)は、非常に優れた微調整性能を持つ表現を学習する。 本稿では, 簡単な後処理により, 事前学習手法の微調整性能を著しく向上できることを示す。
  論文  参考訳（メタデータ） (2022-05-27T17:59:36Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Learning Rich Nearest Neighbor Representations from Self-supervised Ensembles [60.97922557957857]
  推論時間における勾配降下から直接表現を学習する新しい手法により、自己教師付きモデルアンサンブルを行うためのフレームワークを提供する。 この技術は、ドメイン内のデータセットと転送設定の両方において、k-nearestの隣人によって測定されるように、表現品質を改善する。
  論文  参考訳（メタデータ） (2021-10-19T22:24:57Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Unleashing the Power of Contrastive Self-Supervised Visual Models via Contrast-Regularized Fine-Tuning [94.35586521144117]
  コントラスト学習を微調整に適用することでさらにメリットが得られるか検討する。 本研究では,コントラスト正規化調律(core-tuning)を提案する。
  論文  参考訳（メタデータ） (2021-02-12T16:31:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。