論文の概要: Fine-Grained Image Style Transfer with Visual Transformers

• arxiv url: http://arxiv.org/abs/2210.05176v1
• Date: Tue, 11 Oct 2022 06:26:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 14:08:41.023934
• Title: Fine-Grained Image Style Transfer with Visual Transformers
• Title（参考訳）: 視覚トランスフォーマーを用いた細粒度画像転送
• Authors: Jianbo Wang, Huan Yang, Jianlong Fu, Toshihiko Yamasaki, and Baining Guo
• Abstract要約: 本稿では,コンテンツとスタイルイメージの両方を視覚トークンに分割し,よりきめ細かなスタイル変換を実現するSTTR(Style TRansformer)ネットワークを提案する。 STTRと既存のアプローチを比較するために,Amazon Mechanical Turkのユーザスタディを実施している。
• 参考スコア（独自算出の注目度）: 59.85619519384446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the development of the convolutional neural network, image style transfer has drawn increasing attention. However, most existing approaches adopt a global feature transformation to transfer style patterns into content images (e.g., AdaIN and WCT). Such a design usually destroys the spatial information of the input images and fails to transfer fine-grained style patterns into style transfer results. To solve this problem, we propose a novel STyle TRansformer (STTR) network which breaks both content and style images into visual tokens to achieve a fine-grained style transformation. Specifically, two attention mechanisms are adopted in our STTR. We first propose to use self-attention to encode content and style tokens such that similar tokens can be grouped and learned together. We then adopt cross-attention between content and style tokens that encourages fine-grained style transformations. To compare STTR with existing approaches, we conduct user studies on Amazon Mechanical Turk (AMT), which are carried out with 50 human subjects with 1,000 votes in total. Extensive evaluations demonstrate the effectiveness and efficiency of the proposed STTR in generating visually pleasing style transfer results.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(convolutional neural network)の開発により、画像スタイル転送が注目を集めている。 しかし、既存のほとんどのアプローチでは、スタイルパターンをコンテンツイメージ(例えばAdaINやWCT)に転送するためにグローバルな特徴変換を採用している。 このような設計は通常、入力画像の空間情報を破壊し、細粒度のスタイルパターンをスタイル転送結果に転送しない。 そこで本研究では,コンテンツとスタイルイメージの両方を視覚トークンに分割し,よりきめ細かなスタイル変換を実現するSTTR(Style TRansformer)ネットワークを提案する。 特にSTTRでは2つの注意機構が採用されている。 まず,類似トークンをグループ化して学習できるように,コンテンツやスタイルトークンのエンコードにセルフアテンションを使うことを提案する。 次に、きめ細かいスタイル変換を奨励するコンテンツとスタイルトークンの相互接続を採用します。 そこで本研究では,STTRと既存のアプローチを比較するために,合計1000票の被験者50名を対象に,Amazon Mechanical Turk(AMT)のユーザスタディを実施している。 広汎な評価は、視覚的快楽スタイルの転送結果を生成するためのSTTRの有効性と効率を示す。

関連論文リスト

• Patch Is Not All You Need [57.290256181083016]
  本稿では,画像の変換を適応的に変換する新しいパターン変換器を提案する。 我々は畳み込みニューラルネットワークを用いて入力画像から様々なパターンを抽出する。 我々は,CIFAR-10とCIFAR-100で最先端のパフォーマンスを達成し,ImageNet上での競合的な結果を得た。
  論文  参考訳（メタデータ） (2023-08-21T13:54:00Z)
• Improving the Transferability of Adversarial Examples with Arbitrary Style Transfer [32.644062141738246]
  スタイル転送ネットワークは、人間の意味的内容を保持しながら、画像内の低レベルの視覚的特徴の分布を変更することができる。 本稿では、任意のスタイル転送ネットワークを用いて、画像を異なる領域に変換する新たな攻撃手法であるStyle Transfer Method (STM)を提案する。 提案手法は、通常訓練されたモデルまたは逆訓練されたモデルにおいて、逆変換性を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-08-21T09:58:13Z)
• A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive Learning [84.8813842101747]
  Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。 入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。 本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-03-09T04:35:00Z)
• Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
  Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。 本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
  論文  参考訳（メタデータ） (2022-05-19T13:11:24Z)
• Improving Visual Quality of Image Synthesis by A Token-based Generator with Transformers [51.581926074686535]
  本稿では,このタスクを視覚的トークン生成問題とみなして,画像合成の新たな視点を示す。 提案したTokenGANは、広く使われている画像合成ベンチマークで最先端の結果を得た。
  論文  参考訳（メタデータ） (2021-11-05T12:57:50Z)
• StyTr^2: Unbiased Image Style Transfer with Transformers [59.34108877969477]
  イメージスタイル転送の目的は、オリジナルコンテンツを維持しながら、スタイル参照によってガイドされた芸術的特徴を持つ画像をレンダリングすることである。 従来のニューラルスタイルの転送法は通常バイアスを受けており、コンテントリークは、同じ参照画像でスタイル転送プロセスの何回かの実行によって観察することができる。 我々は、この重要な問題に対処するために、トランスフォーマーベースのアプローチ、すなわちStyTr2を提案する。
  論文  参考訳（メタデータ） (2021-05-30T15:57:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。