論文の概要: Style Spectroscope: Improve Interpretability and Controllability through
Fourier Analysis
- arxiv url: http://arxiv.org/abs/2208.06140v1
- Date: Fri, 12 Aug 2022 07:15:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-15 13:19:07.544455
- Title: Style Spectroscope: Improve Interpretability and Controllability through
Fourier Analysis
- Title(参考訳): スタイル分光:フーリエ分析による解釈性と制御性の向上
- Authors: Zhiyu Jin and Xuli Shen and Bin Li and Xiangyang Xue
- Abstract要約: ユニバーサルスタイル転送(UST)は、任意の参照イメージからコンテンツイメージにスタイルを注入する。
既存の手法では実験的な観察を説明できない。
周波数領域におけるフレームワークの等価な形式を示す。
- 参考スコア(独自算出の注目度): 42.59845771101823
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Universal style transfer (UST) infuses styles from arbitrary reference images
into content images. Existing methods, while enjoying many practical successes,
are unable of explaining experimental observations, including different
performances of UST algorithms in preserving the spatial structure of content
images. In addition, methods are limited to cumbersome global controls on
stylization, so that they require additional spatial masks for desired
stylization. In this work, we provide a systematic Fourier analysis on a
general framework for UST. We present an equivalent form of the framework in
the frequency domain. The form implies that existing algorithms treat all
frequency components and pixels of feature maps equally, except for the
zero-frequency component. We connect Fourier amplitude and phase with Gram
matrices and a content reconstruction loss in style transfer, respectively.
Based on such equivalence and connections, we can thus interpret different
structure preservation behaviors between algorithms with Fourier phase. Given
the interpretations we have, we propose two manipulations in practice for
structure preservation and desired stylization. Both qualitative and
quantitative experiments demonstrate the competitive performance of our method
against the state-of-the-art methods. We also conduct experiments to
demonstrate (1) the abovementioned equivalence, (2) the interpretability based
on Fourier amplitude and phase and (3) the controllability associated with
frequency components.
- Abstract(参考訳): universal style transfer (ust) は任意の参照画像からコンテンツ画像にスタイルを注入する。
既存の手法は、多くの実践的な成功を享受しながらも、コンテンツ画像の空間構造を保存するためにUSTアルゴリズムの異なる性能を含む実験的な観察を説明することができない。
さらに,タイマライゼーションの煩雑なグローバルコントロールに制限されているため,スタイリゼーションに空間マスクを追加する必要がある。
本研究では,USTの汎用フレームワークについて,系統的なフーリエ解析を行う。
周波数領域におけるフレームワークの等価な形式を示す。
この形式は、既存のアルゴリズムがゼロ周波数成分を除く全ての周波数成分と特徴写像のピクセルを等しく扱うことを意味する。
本研究では,Fourier振幅と位相をそれぞれグラム行列と接続し,スタイル伝達におけるコンテンツ再構成損失を補正する。
このような等価性と接続性に基づき、フーリエ位相を持つアルゴリズム間で異なる構造保存挙動を解釈することができる。
以上の解釈を前提に,構造保存と所望のスタイライゼーションのための2つの操作を提案する。
定性的かつ定量的な実験は,本手法の最先端手法に対する競争性能を示すものである。
また,(1)上述の等価性,(2)フーリエ振幅と位相に基づく解釈可能性,(3)周波数成分に関連する制御可能性を示す実験を行った。
関連論文リスト
- HoloNets: Spectral Convolutions do extend to Directed Graphs [59.851175771106625]
従来の知恵は、スペクトル畳み込みネットワークは無向グラフ上にしか展開できないと規定している。
ここでは、このグラフフーリエ変換への伝統的な依存が超フルであることを示す。
本稿では,新たに開発されたフィルタの周波数応答解釈を行い,フィルタ表現に使用するベースの影響を調査し,ネットワークを基盤とする特性演算子との相互作用について議論する。
論文 参考訳(メタデータ) (2023-10-03T17:42:09Z) - FFPN: Fourier Feature Pyramid Network for Ultrasound Image Segmentation [15.011573950064424]
超音波(US)画像セグメンテーションは多くのシナリオにおいてリアルタイムかつ高精度な解析を必要とする活発な研究領域である。
既存のアプローチは、不適切な輪郭符号化に悩まされるか、エンコードされた結果の有効活用に失敗する可能性がある。
本稿では,Fourier Feature Pyramid Network (FFPN) と呼ばれる新しいFourier-anchor-based DTSフレームワークについて述べる。
論文 参考訳(メタデータ) (2023-08-26T07:28:09Z) - Explicit Correspondence Matching for Generalizable Neural Radiance
Fields [49.49773108695526]
本稿では,新たな未知のシナリオに一般化し,2つのソースビューで新規なビュー合成を行う新しいNeRF手法を提案する。
明瞭な対応マッチングは、異なるビュー上の3Dポイントの2次元投影でサンプリングされた画像特徴間のコサイン類似度と定量化される。
実験では,実験結果から得られたコサイン特徴の類似性と体積密度との間に強い相関関係が認められた。
論文 参考訳(メタデータ) (2023-04-24T17:46:01Z) - A statistically constrained internal method for single image
super-resolution [1.2891210250935146]
我々は、SinGANの学習したアップサンプリング手順を制約することにより、事前情報を内部の超解像アプローチに統合する方法を示す。
本稿では,フーリエパワースペクトル,カラーヒストグラム,アップサンプリング方式の整合性など,様々な制約について考察する。
論文 参考訳(メタデータ) (2023-02-03T10:48:31Z) - Deep Fourier Up-Sampling [100.59885545206744]
フーリエ領域のアップサンプリングは、そのような局所的な性質に従わないため、より難しい。
これらの問題を解決するために理論的に健全なDeep Fourier Up-Sampling (FourierUp)を提案する。
論文 参考訳(メタデータ) (2022-10-11T06:17:31Z) - Single Stage Virtual Try-on via Deformable Attention Flows [51.70606454288168]
仮想試行は、ショップ内服と基準人物画像が与えられた写真リアルなフィッティング結果を生成することを目的としている。
マルチフロー推定に変形性アテンションスキームを適用した,変形性アテンションフロー(DAFlow)を新たに開発した。
提案手法は,定性的かつ定量的に最先端の性能を実現する。
論文 参考訳(メタデータ) (2022-07-19T10:01:31Z) - Seeing Implicit Neural Representations as Fourier Series [13.216389226310987]
Inlicit Neural Representation (INR)は低次元問題領域における高周波関数を表現するために多層パーセプトロンを使用する。
これらの表現は、複雑な3Dオブジェクトやシーンに関連するタスクについて、最先端の結果を得た。
この研究は2つの方法間の接続を分析し、フーリエ写像されたパーセプトロンが構造的に1つの隠蔽層SIRENと似ていることを示す。
論文 参考訳(メタデータ) (2021-09-01T08:40:20Z) - A Fourier-based Framework for Domain Generalization [82.54650565298418]
ドメインの一般化は、複数のソースドメインから伝達可能な知識を学習して、未確認のターゲットドメインに一般化することでこの問題に対処することを目的としている。
本稿では、ドメイン一般化のための新しいフーリエに基づく視点を紹介する。
3つのベンチマーク実験により,提案手法は領域一般化のための最先端性能を実現することができることを示した。
論文 参考訳(メタデータ) (2021-05-24T06:50:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。