論文の概要: ALADIN-NST: Self-supervised disentangled representation learning of
artistic style through Neural Style Transfer
- arxiv url: http://arxiv.org/abs/2304.05755v2
- Date: Thu, 17 Aug 2023 15:27:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 00:19:44.280244
- Title: ALADIN-NST: Self-supervised disentangled representation learning of
artistic style through Neural Style Transfer
- Title(参考訳): ALADIN-NST:ニューラル・スタイル・トランスファーによるアートスタイルの自己教師型非絡み合い表現学習
- Authors: Dan Ruta, Gemma Canet Tarres, Alexander Black, Andrew Gilbert, John
Collomosse
- Abstract要約: 我々は、画像に描かれた意味的内容から、より強く絡み合った視覚芸術スタイルの表現を学習する。
スタイルと内容の絡み合いに強く対処することで、スタイル固有のメトリクスが大きく向上することを示します。
- 参考スコア(独自算出の注目度): 60.6863849241972
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Representation learning aims to discover individual salient features of a
domain in a compact and descriptive form that strongly identifies the unique
characteristics of a given sample respective to its domain. Existing works in
visual style representation literature have tried to disentangle style from
content during training explicitly. A complete separation between these has yet
to be fully achieved. Our paper aims to learn a representation of visual
artistic style more strongly disentangled from the semantic content depicted in
an image. We use Neural Style Transfer (NST) to measure and drive the learning
signal and achieve state-of-the-art representation learning on explicitly
disentangled metrics. We show that strongly addressing the disentanglement of
style and content leads to large gains in style-specific metrics, encoding far
less semantic information and achieving state-of-the-art accuracy in downstream
multimodal applications.
- Abstract(参考訳): 表現学習(representation learning)は、与えられたサンプルの固有の特性をドメインごとに強く識別するコンパクトで記述的な形式で、ドメインの個々のサルエント特徴を発見することを目的としている。
既存のビジュアルスタイル表現文学作品では、トレーニング中にスタイルを内容から切り離そうと試みている。
これらの分離は完全には達成されていない。
本研究の目的は,画像に描かれた意味的内容から,視覚芸術的スタイルの表現をより強く切り離すことである。
学習信号の測定と駆動にはneural style transfer(nst)を使用し,明示的異種メトリクスを用いた最先端表現学習を実現する。
本稿では,スタイルとコンテンツの絡み合いに強く対処することで,スタイル固有のメトリクスが大幅に向上し,より少ない意味情報をエンコードし,下流のマルチモーダルアプリケーションにおいて最先端の精度が得られることを示す。
関連論文リスト
- DiffuseST: Unleashing the Capability of the Diffusion Model for Style Transfer [13.588643982359413]
スタイル転送は、スタイル画像の芸術的表現をコンテンツ画像の構造情報と融合させることを目的としている。
既存の方法は特定のネットワークを訓練したり、事前訓練されたモデルを使ってコンテンツやスタイルの特徴を学習する。
本稿では,テキスト埋め込みと空間的特徴を組み合わせた,新しい学習不要なスタイル伝達手法を提案する。
論文 参考訳(メタデータ) (2024-10-19T06:42:43Z) - StyleDistance: Stronger Content-Independent Style Embeddings with Synthetic Parallel Examples [48.44036251656947]
スタイル表現は、内容に関係なく、類似した書体スタイルのテキストを密に埋め込み、異なる書体スタイルのテキストを遠くに埋め込むことを目的としている。
より強力なコンテンツに依存しないスタイル埋め込みをトレーニングするための新しいアプローチであるStyleDistanceを紹介する。
論文 参考訳(メタデータ) (2024-10-16T17:25:25Z) - Generative AI Model for Artistic Style Transfer Using Convolutional
Neural Networks [0.0]
芸術的なスタイルの転送は、ある画像の内容を別の芸術的なスタイルに融合させ、ユニークな視覚的な構成を作り出すことである。
本稿では,畳み込みニューラルネットワーク(CNN)を用いた新しいスタイル伝達手法の概要を概説する。
論文 参考訳(メタデータ) (2023-10-27T16:21:17Z) - StyleEDL: Style-Guided High-order Attention Network for Image Emotion
Distribution Learning [69.06749934902464]
StyleEDLと呼ばれる画像感情分布学習のためのスタイル誘導型高次アテンションネットワークを提案する。
StyleEDLは視覚内容の階層的スタイリスティック情報を探索することにより、画像のスタイリスティックな表現を対話的に学習する。
さらに、コンテンツ依存の感情表現を動的に生成するスタイリスティックなグラフ畳み込みネットワークを導入する。
論文 参考訳(メタデータ) (2023-08-06T03:22:46Z) - StylerDALLE: Language-Guided Style Transfer Using a Vector-Quantized
Tokenizer of a Large-Scale Generative Model [64.26721402514957]
本論文では,自然言語を用いて抽象芸術スタイルを記述するスタイル転送手法であるStylerDALLEを提案する。
具体的には、非自己回帰的なトークンシーケンス変換として、言語誘導型転送タスクを定式化する。
スタイル情報を組み込むために,CLIPに基づく言語指導による強化学習戦略を提案する。
論文 参考訳(メタデータ) (2023-03-16T12:44:44Z) - A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive
Learning [84.8813842101747]
Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。
入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。
本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
論文 参考訳(メタデータ) (2023-03-09T04:35:00Z) - Improving Disentangled Text Representation Learning with
Information-Theoretic Guidance [99.68851329919858]
自然言語の独特な性質は、テキスト表現の分離をより困難にする。
情報理論にインスパイアされた本研究では,テキストの不整合表現を効果的に表現する手法を提案する。
条件付きテキスト生成とテキストスタイル転送の両方の実験は、不整合表現の質を実証する。
論文 参考訳(メタデータ) (2020-06-01T03:36:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。