論文の概要: Style Spectroscope: Improve Interpretability and Controllability through
Fourier Analysis
- arxiv url: http://arxiv.org/abs/2208.06140v1
- Date: Fri, 12 Aug 2022 07:15:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-15 13:19:07.544455
- Title: Style Spectroscope: Improve Interpretability and Controllability through
Fourier Analysis
- Title（参考訳）: スタイル分光:フーリエ分析による解釈性と制御性の向上
- Authors: Zhiyu Jin and Xuli Shen and Bin Li and Xiangyang Xue
- Abstract要約: ユニバーサルスタイル転送(UST)は、任意の参照イメージからコンテンツイメージにスタイルを注入する。
既存の手法では実験的な観察を説明できない。
周波数領域におけるフレームワークの等価な形式を示す。
- 参考スコア（独自算出の注目度）: 42.59845771101823
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Universal style transfer (UST) infuses styles from arbitrary reference images
into content images. Existing methods, while enjoying many practical successes,
are unable of explaining experimental observations, including different
performances of UST algorithms in preserving the spatial structure of content
images. In addition, methods are limited to cumbersome global controls on
stylization, so that they require additional spatial masks for desired
stylization. In this work, we provide a systematic Fourier analysis on a
general framework for UST. We present an equivalent form of the framework in
the frequency domain. The form implies that existing algorithms treat all
frequency components and pixels of feature maps equally, except for the
zero-frequency component. We connect Fourier amplitude and phase with Gram
matrices and a content reconstruction loss in style transfer, respectively.
Based on such equivalence and connections, we can thus interpret different
structure preservation behaviors between algorithms with Fourier phase. Given
the interpretations we have, we propose two manipulations in practice for
structure preservation and desired stylization. Both qualitative and
quantitative experiments demonstrate the competitive performance of our method
against the state-of-the-art methods. We also conduct experiments to
demonstrate (1) the abovementioned equivalence, (2) the interpretability based
on Fourier amplitude and phase and (3) the controllability associated with
frequency components.
- Abstract（参考訳）: universal style transfer (ust) は任意の参照画像からコンテンツ画像にスタイルを注入する。
既存の手法は、多くの実践的な成功を享受しながらも、コンテンツ画像の空間構造を保存するためにUSTアルゴリズムの異なる性能を含む実験的な観察を説明することができない。
さらに,タイマライゼーションの煩雑なグローバルコントロールに制限されているため,スタイリゼーションに空間マスクを追加する必要がある。
本研究では,USTの汎用フレームワークについて,系統的なフーリエ解析を行う。
周波数領域におけるフレームワークの等価な形式を示す。
この形式は、既存のアルゴリズムがゼロ周波数成分を除く全ての周波数成分と特徴写像のピクセルを等しく扱うことを意味する。
本研究では,Fourier振幅と位相をそれぞれグラム行列と接続し,スタイル伝達におけるコンテンツ再構成損失を補正する。
このような等価性と接続性に基づき、フーリエ位相を持つアルゴリズム間で異なる構造保存挙動を解釈することができる。
以上の解釈を前提に,構造保存と所望のスタイライゼーションのための2つの操作を提案する。
定性的かつ定量的な実験は,本手法の最先端手法に対する競争性能を示すものである。
また,(1)上述の等価性,(2)フーリエ振幅と位相に基づく解釈可能性,(3)周波数成分に関連する制御可能性を示す実験を行った。
関連論文リスト
- The Empirical Watershed Wavelet [0.0]
本稿では、周波数領域の任意の分割に基づく2次元経験的ウェーブレットフィルタの構築を可能にする理論的結果を提供する。
また,高調波モードと流域変換の位置を推定するために,スケール空間表現を組み合わせて画像スペクトルからそのような分割を検出するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-24T22:36:43Z) - FourierMamba: Fourier Learning Integration with State Space Models for Image Deraining [71.46369218331215]
Image derainingは雨が降る画像から雨の跡を取り除き、透明な背景を復元することを目的としている。
本稿では,FourierMambaという新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-29T18:58:59Z) - HoloNets: Spectral Convolutions do extend to Directed Graphs [59.851175771106625]
従来の知恵は、スペクトル畳み込みネットワークは無向グラフ上にしか展開できないと規定している。
ここでは、このグラフフーリエ変換への伝統的な依存が超フルであることを示す。
本稿では,新たに開発されたフィルタの周波数応答解釈を行い,フィルタ表現に使用するベースの影響を調査し,ネットワークを基盤とする特性演算子との相互作用について議論する。
論文 参考訳（メタデータ） (2023-10-03T17:42:09Z) - A statistically constrained internal method for single image
super-resolution [1.2891210250935146]
我々は、SinGANの学習したアップサンプリング手順を制約することにより、事前情報を内部の超解像アプローチに統合する方法を示す。
本稿では,フーリエパワースペクトル,カラーヒストグラム,アップサンプリング方式の整合性など,様々な制約について考察する。
論文 参考訳（メタデータ） (2023-02-03T10:48:31Z) - Deep Fourier Up-Sampling [100.59885545206744]
フーリエ領域のアップサンプリングは、そのような局所的な性質に従わないため、より難しい。
これらの問題を解決するために理論的に健全なDeep Fourier Up-Sampling (FourierUp)を提案する。
論文 参考訳（メタデータ） (2022-10-11T06:17:31Z) - Single Stage Virtual Try-on via Deformable Attention Flows [51.70606454288168]
仮想試行は、ショップ内服と基準人物画像が与えられた写真リアルなフィッティング結果を生成することを目的としている。
マルチフロー推定に変形性アテンションスキームを適用した,変形性アテンションフロー(DAFlow)を新たに開発した。
提案手法は,定性的かつ定量的に最先端の性能を実現する。
論文 参考訳（メタデータ） (2022-07-19T10:01:31Z) - Seeing Implicit Neural Representations as Fourier Series [13.216389226310987]
Inlicit Neural Representation (INR)は低次元問題領域における高周波関数を表現するために多層パーセプトロンを使用する。
これらの表現は、複雑な3Dオブジェクトやシーンに関連するタスクについて、最先端の結果を得た。
この研究は2つの方法間の接続を分析し、フーリエ写像されたパーセプトロンが構造的に1つの隠蔽層SIRENと似ていることを示す。
論文 参考訳（メタデータ） (2021-09-01T08:40:20Z) - A Fourier-based Framework for Domain Generalization [82.54650565298418]
ドメインの一般化は、複数のソースドメインから伝達可能な知識を学習して、未確認のターゲットドメインに一般化することでこの問題に対処することを目的としている。
本稿では、ドメイン一般化のための新しいフーリエに基づく視点を紹介する。
3つのベンチマーク実験により,提案手法は領域一般化のための最先端性能を実現することができることを示した。
論文 参考訳（メタデータ） (2021-05-24T06:50:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。