論文の概要: Manifold Alignment for Semantically Aligned Style Transfer

• arxiv url: http://arxiv.org/abs/2005.10777v2
• Date: Thu, 2 Sep 2021 05:41:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 23:55:42.348584
• Title: Manifold Alignment for Semantically Aligned Style Transfer
• Title（参考訳）: セマンティックなスタイル伝達のためのマニフォールドアライメント
• Authors: Jing Huo, Shiyin Jin, Wenbin Li, Jing Wu, Yu-Kun Lai, Yinghuan Shi, Yang Gao
• Abstract要約: 我々は,同じ意味領域からの画像特徴が多様体を形成し,複数の意味領域を持つ画像が多次元分布に従うことを仮定する。 この仮定に基づき、スタイル伝達問題は2つの多次元分布の整列として定式化される。 提案したフレームワークは、出力とスタイルイメージの間の意味的に類似した領域を、類似したスタイルパターンを共有することができる。
• 参考スコア（独自算出の注目度）: 61.1274057338588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most existing style transfer methods follow the assumption that styles can be represented with global statistics (e.g., Gram matrices or covariance matrices), and thus address the problem by forcing the output and style images to have similar global statistics. An alternative is the assumption of local style patterns, where algorithms are designed to swap similar local features of content and style images. However, the limitation of these existing methods is that they neglect the semantic structure of the content image which may lead to corrupted content structure in the output. In this paper, we make a new assumption that image features from the same semantic region form a manifold and an image with multiple semantic regions follows a multi-manifold distribution. Based on this assumption, the style transfer problem is formulated as aligning two multi-manifold distributions and a Manifold Alignment based Style Transfer (MAST) framework is proposed. The proposed framework allows semantically similar regions between the output and the style image share similar style patterns. Moreover, the proposed manifold alignment method is flexible to allow user editing or using semantic segmentation maps as guidance for style transfer. To allow the method to be applicable to photorealistic style transfer, we propose a new adaptive weight skip connection network structure to preserve the content details. Extensive experiments verify the effectiveness of the proposed framework for both artistic and photorealistic style transfer. Code is available at https://github.com/NJUHuoJing/MAST.
• Abstract（参考訳）: ほとんどの既存のスタイル転送手法は、スタイルがグローバル統計(例えば、グラム行列や共分散行列)で表現できるという仮定に従い、出力とスタイル画像に類似したグローバル統計を強制することによってこの問題に対処する。 別の例として、ローカルスタイルパターンの仮定があり、アルゴリズムは、コンテンツとスタイルイメージの類似したローカル特徴を交換するように設計されている。 しかし、これらの既存の手法の限界は、出力中の劣化したコンテンツ構造につながる可能性のあるコンテンツ画像の意味構造を無視していることである。 本論文では,同じ意味領域からの画像特徴が多様体を形成し,複数の意味領域を持つ画像が多次元分布に従うことを仮定する。 この仮定に基づいて、2つの多次元分布の整列化と、マニフォールドアライメントに基づくスタイル転送(MAST)フレームワークを提案する。 提案するフレームワークは、出力とスタイルイメージ間の意味的に類似した領域が類似したスタイルパターンを共有することができる。 さらに,提案手法は,ユーザ編集やセマンティックセグメンテーションマップをスタイル転送のガイダンスとして使用するために柔軟である。 本手法をフォトリアリスティックなスタイル転送に適用するために,コンテンツの詳細を保存するための適応型ウェイトスキップ接続ネットワーク構造を提案する。 広汎な実験により, 芸術的およびフォトリアリスティックなスタイル転送のための枠組みの有効性が検証された。 コードはhttps://github.com/NJUHuoJing/MASTで入手できる。

関連論文リスト

• Any-to-Any Style Transfer: Making Picasso and Da Vinci Collaborate [58.83278629019384]
  スタイル転送は、コンテンツ参照のために、ある画像のスタイルを他の画像へのスタイル参照にレンダリングすることを目的としている。 既存のアプローチでは、スタイルイメージの全体的スタイルをグローバルな方法で適用するか、あるいは、スタイルイメージのローカル色とテクスチャを、事前に定義された方法でコンテンツに移行するかのいずれかである。 本稿では,Any-to-Any Style Transferを提案する。Any-to-Any Style Transferは,スタイル画像中の領域のスタイルを対話的に選択し,所定のコンテンツ領域に適用することができる。
  論文  参考訳（メタデータ） (2023-04-19T15:15:36Z)
• A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive Learning [84.8813842101747]
  Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。 入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。 本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-03-09T04:35:00Z)
• Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
  Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。 本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
  論文  参考訳（メタデータ） (2022-05-19T13:11:24Z)
• Consistent Style Transfer [23.193302706359464]
  近年,微粒化を実現するため,注意型任意のスタイル転送手法が提案されている。 この問題を軽減するために, プログレッシブ・アテンショナル・アライメント (PAMA) を提案する。 PAMAは,意味領域の不整合を回避しつつ,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-01-06T20:19:35Z)
• Towards Controllable and Photorealistic Region-wise Image Manipulation [11.601157452472714]
  地域ごとのスタイル操作のための自動エンコーダアーキテクチャを用いた生成モデルを提案する。 我々は、コンテンツとスタイルの潜在表現の明示的な乱れを強制するために、コード一貫性の損失を適用します。 このモデルは、前景編集が背景コンテンツに干渉しないように、コンテンツアライメント損失によって制約される。
  論文  参考訳（メタデータ） (2021-08-19T13:29:45Z)
• Domain-Specific Mappings for Generative Adversarial Style Transfer [30.50889066030244]
  スタイル転送は、コンテンツが1つの画像から来る画像と、もう1つの画像から来るスタイルを生成する。 以前の方法は、しばしば共有ドメイン不変のコンテンツ空間を前提としており、コンテンツ表現能力を損なう可能性がある。 本稿では、共有コンテンツ空間における潜在特徴をドメイン固有のコンテンツ空間に再マッピングするために、ドメイン固有のマッピングを利用する。
  論文  参考訳（メタデータ） (2020-08-05T15:55:25Z)
• Distribution Aligned Multimodal and Multi-Domain Image Stylization [76.74823384524814]
  マルチモーダルおよびマルチドメインスタイル転送のための統一フレームワークを提案する。 提案手法の鍵となるコンポーネントは,新しいスタイル分布アライメントモジュールである。 我々は,様々な芸術様式やジャンルで絵画の様式を伝達する枠組みを検証した。
  論文  参考訳（メタデータ） (2020-06-02T07:25:53Z)
• Arbitrary Style Transfer via Multi-Adaptation Network [109.6765099732799]
  所望のスタイル転送は、内容画像と参照されたスタイル絵が与えられた場合、そのスタイル絵の色調と鮮やかなストロークパターンで内容画像を描画する。 新たな不整合損失関数により,本ネットワークは,様々な入力画像に適応する主文パターンと正確なコンテンツ構造を抽出できる。
  論文  参考訳（メタデータ） (2020-05-27T08:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。