論文の概要: Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning

• arxiv url: http://arxiv.org/abs/2205.09542v2
• Date: Fri, 20 May 2022 11:51:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-23 11:05:14.880954
• Title: Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning
• Title（参考訳）: コントラスト学習による任意の画像スタイル転送のドメイン化
• Authors: Yuxin Zhang, Fan Tang, Weiming Dong, Haibin Huang, Chongyang Ma, Tong-Yee Lee, Changsheng Xu
• Abstract要約: Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。 本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
• 参考スコア（独自算出の注目度）: 84.8813842101747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we tackle the challenging problem of arbitrary image style transfer using a novel style feature representation learning method. A suitable style representation, as a key component in image stylization tasks, is essential to achieve satisfactory results. Existing deep neural network based approaches achieve reasonable results with the guidance from second-order statistics such as Gram matrix of content features. However, they do not leverage sufficient style information, which results in artifacts such as local distortions and style inconsistency. To address these issues, we propose to learn style representation directly from image features instead of their second-order statistics, by analyzing the similarities and differences between multiple styles and considering the style distribution. Specifically, we present Contrastive Arbitrary Style Transfer (CAST), which is a new style representation learning and style transfer method via contrastive learning. Our framework consists of three key components, i.e., a multi-layer style projector for style code encoding, a domain enhancement module for effective learning of style distribution, and a generative network for image style transfer. We conduct qualitative and quantitative evaluations comprehensively to demonstrate that our approach achieves significantly better results compared to those obtained via state-of-the-art methods. Code and models are available at https://github.com/zyxElsa/CAST_pytorch
• Abstract（参考訳）: 本研究では,新しいスタイル特徴表現学習手法を用いて,任意の画像スタイル転送の課題に対処する。 画像スタイリングタスクのキーコンポーネントとしてに適したスタイル表現は、満足な結果を得るために不可欠である。 既存のディープニューラルネットワークベースのアプローチは、コンテンツ特徴のGram行列のような2階統計からのガイダンスで合理的な結果が得られる。 しかし、それらには十分なスタイル情報がないため、局所的な歪みやスタイルの不整合といったアーティファクトが生じる。 これらの課題に対処するために,複数のスタイル間の類似点と相違点を分析し,スタイル分布を考慮した画像特徴から直接スタイル表現を学習することを提案する。 具体的には,コントラスト学習による新しいスタイル表現学習とスタイル転送手法であるコントラスト型任意スタイル転送(cast)を提案する。 本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。 本手法は, 最先端手法による手法に比べて, 極めて優れた結果が得られることを示すため, 定性的かつ定量的な評価を包括的に実施する。 コードとモデルはhttps://github.com/zyxelsa/cast_pytorchで入手できる。

関連論文リスト

• D2Styler: Advancing Arbitrary Style Transfer with Discrete Diffusion Methods [2.468658581089448]
  D$2$Styler (Discrete Diffusion Styler) と呼ばれる新しいフレームワークを提案する。 本手法では,アダプティブインスタンス正規化(AdaIN)機能を逆拡散過程のコンテキストガイドとして用いる。 実験により、D$2$Stylerは高品質なスタイル変換画像を生成することが示された。
  論文  参考訳（メタデータ） (2024-08-07T05:47:06Z)
• StyleShot: A Snapshot on Any Style [20.41380860802149]
  テスト時間チューニングを伴わない汎用的なスタイル転送には,優れたスタイル表現が不可欠であることを示す。 スタイル認識型エンコーダと、StyleGalleryと呼ばれるよく編成されたスタイルデータセットを構築することで、これを実現する。 当社のアプローチであるStyleShotは,テストタイムチューニングを必要とせずに,さまざまなスタイルを模倣する上で,シンプルかつ効果的なものです。
  論文  参考訳（メタデータ） (2024-07-01T16:05:18Z)
• Any-to-Any Style Transfer: Making Picasso and Da Vinci Collaborate [58.83278629019384]
  スタイル転送は、コンテンツ参照のために、ある画像のスタイルを他の画像へのスタイル参照にレンダリングすることを目的としている。 既存のアプローチでは、スタイルイメージの全体的スタイルをグローバルな方法で適用するか、あるいは、スタイルイメージのローカル色とテクスチャを、事前に定義された方法でコンテンツに移行するかのいずれかである。 本稿では,Any-to-Any Style Transferを提案する。Any-to-Any Style Transferは,スタイル画像中の領域のスタイルを対話的に選択し,所定のコンテンツ領域に適用することができる。
  論文  参考訳（メタデータ） (2023-04-19T15:15:36Z)
• A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive Learning [84.8813842101747]
  Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。 入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。 本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-03-09T04:35:00Z)
• StyleAdv: Meta Style Adversarial Training for Cross-Domain Few-Shot Learning [89.86971464234533]
  Cross-Domain Few-Shot Learning (CD-FSL)は、最近登場したタスクで、異なるドメインにわたる数ショットの学習に対処している。 本稿では,モデルに依存しないメタスタイル逆アタック(StyleAdv)手法と,新しいスタイル逆アタック手法を提案する。 本手法は視覚的スタイルに対して徐々に頑健であり,新たなターゲットデータセットの一般化能力を高める。
  論文  参考訳（メタデータ） (2023-02-18T11:54:37Z)
• DiffStyler: Controllable Dual Diffusion for Text-Driven Image Stylization [66.42741426640633]
  DiffStylerは、拡散された結果の内容とスタイルのバランスを制御するための二重拡散処理アーキテクチャである。 本稿では、逆復調処理をベースとしたコンテンツ画像に基づく学習可能なノイズを提案し、そのスタイリング結果により、コンテンツ画像の構造情報をよりよく保存する。
  論文  参考訳（メタデータ） (2022-11-19T12:30:44Z)
• Style-Agnostic Reinforcement Learning [9.338454092492901]
  本稿では,スタイル伝達と逆学習の両方を用いて,スタイル非依存表現を学習する新しい手法を提案する。 本手法は,固有対向型生成器から生成される多様な画像スタイルでアクターを訓練する。 提案手法は,Procgen and Distracting Control Suiteベンチマークにおける最先端の手法よりも,競争力や性能の向上が期待できる。
  論文  参考訳（メタデータ） (2022-08-31T13:45:00Z)
• Learning Diverse Tone Styles for Image Retouching [73.60013618215328]
  本稿では,フローベースアーキテクチャの標準化により,多様な画像のリタッチを学習することを提案する。 ジョイントトレーニングパイプラインは、スタイルエンコーダ、条件付きRetouchNet、イメージトーンスタイル正規化フロー(TSFlow)モジュールで構成される。 提案手法は最先端の手法に対して良好に動作し,多様な結果を生成するのに有効である。
  論文  参考訳（メタデータ） (2022-07-12T09:49:21Z)
• P$^2$-GAN: Efficient Style Transfer Using Single Style Image [2.703193151632043]
  スタイル転送は、与えられた画像を別の芸術的なスタイルに再レンダリングできる便利な画像合成技術である。 Generative Adversarial Network(GAN)は、ローカルスタイルパターンの表現能力を向上するために、このタスクに対して広く採用されているフレームワークである。 本稿では,ワンスタイル画像からストロークスタイルを効率的に学習できる新しいPatch Permutation GAN(P$2$-GAN)ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-01-21T12:08:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。