論文の概要: Saliency Constrained Arbitrary Image Style Transfer using SIFT and DCNN
- arxiv url: http://arxiv.org/abs/2201.05346v1
- Date: Fri, 14 Jan 2022 09:00:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-17 15:01:16.074586
- Title: Saliency Constrained Arbitrary Image Style Transfer using SIFT and DCNN
- Title（参考訳）: SIFTとDCNNを用いた残差制約任意画像スタイル転送
- Authors: HuiHuang Zhao, Yaonan Wang and Yuhua Li
- Abstract要約: 一般的なニューラルスタイルの転送方法を使用する場合、スタイル画像のテクスチャや色は通常、コンテンツ画像に不完全に転送される。
本稿では,その効果を低減・回避するための新しいサリエンシ制約手法を提案する。
実験により、ソースイメージの正当性マップは正しいマッチングを見つけ出し、アーティファクトを避けるのに役立つことが示された。
- 参考スコア（独自算出の注目度）: 22.57205921266602
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper develops a new image synthesis approach to transfer an example
image (style image) to other images (content images) by using Deep
Convolutional Neural Networks (DCNN) model. When common neural style transfer
methods are used, the textures and colors in the style image are usually
transferred imperfectly to the content image, or some visible errors are
generated. This paper proposes a novel saliency constrained method to reduce or
avoid such effects. It first evaluates some existing saliency detection methods
to select the most suitable one for use in our method. The selected saliency
detection method is used to detect the object in the style image, corresponding
to the object of the content image with the same saliency. In addition, aim to
solve the problem that the size or resolution is different in the style image
and content, the scale-invariant feature transform is used to generate a series
of style images and content images which can be used to generate more feature
maps for patches matching. It then proposes a new loss function combining the
saliency loss, style loss and content loss, adding gradient of saliency
constraint into style transfer in iterations. Finally the source images and
saliency detection results are utilized as multichannel input to an improved
deep CNN framework for style transfer. The experiments show that the saliency
maps of source images can help find the correct matching and avoid artifacts.
Experimental results on different kind of images demonstrate that our method
outperforms nine representative methods from recent publications and has good
robustness.
- Abstract（参考訳）: 本稿では,Deep Convolutional Neural Networks (DCNN)モデルを用いて,サンプル画像(スタイル画像)を他の画像(コンテンツ画像)に転送する新たな画像合成手法を提案する。
一般的なニューラルスタイルの転送方法を使用する場合、スタイル画像のテクスチャや色は通常、コンテンツ画像に不完全に転送されるか、あるいはいくつかの可視誤差が発生する。
本稿では,その効果を低減・回避するための新しいサリエンシ制約手法を提案する。
まず,本手法で最も適した方法を選択するために,既存の塩分濃度検出法について評価する。
選択されたサリエンシー検出方法は、同じサリエンシーを有するコンテンツ画像のオブジェクトに対応するスタイル画像内のオブジェクトを検出するために使用される。
また、スタイル画像とコンテンツにおいてサイズや解像度が異なるという問題を解決するため、スケール不変の特徴変換を用いて一連のスタイル画像とコンテンツ画像を生成し、マッチングマッチングのためのより多くの特徴マップを生成することができる。
そこで, 新たな損失関数を提案し, 相違損失, スタイル損失, コンテンツ損失を組み合わせ, 繰り返しの相違による相違度制約の勾配を加味する。
最後に、スタイル転送のための改良された深層CNNフレームワークへのマルチチャネル入力として、ソース画像とサリエンシ検出結果を利用する。
実験は、ソースイメージの塩分マップが正しいマッチングを見つけ、アーティファクトを避けるのに役立つことを示している。
異なる種類の画像に対する実験結果から,本手法は最近の出版物から9つの代表的な手法より優れ,ロバスト性も良好であることが示された。
関連論文リスト
- PixelShuffler: A Simple Image Translation Through Pixel Rearrangement [0.0]
スタイル転送は画像から画像への変換の応用として広く研究されており、ある画像の内容を他の画像のスタイルと組み合わせた画像の合成が目的である。
既存の最先端の手法は、しばしば高品質なスタイル転送を実現するために拡散モデルや言語モデルを含む複雑なニューラルネットワークに依存している。
本稿では,画像から画像への変換問題に対処する新たなピクセルシャッフル手法を提案する。
論文 参考訳（メタデータ） (2024-10-03T22:08:41Z) - Neural Style Transfer for Vector Graphics [3.8983556368110226]
ベクトル画像間のスタイル転送は検討されていない。
標準的なコンテンツとスタイルの損失を適用することは、ベクトル画像描画スタイルを著しく変える。
微分可能化に基づく新しい手法は、スタイル画像の描画に対応するコンテンツ画像の色と形状パラメータを変更することができる。
論文 参考訳（メタデータ） (2023-03-06T16:57:45Z) - Diffusion-based Image Translation using Disentangled Style and Content
Representation [51.188396199083336]
セマンティックテキストや単一のターゲット画像でガイドされた拡散ベースの画像変換により、柔軟なスタイル変換が可能になった。
逆拡散中、画像の原内容を維持することはしばしば困難である。
本稿では,不整合スタイルとコンテンツ表現を用いた新しい拡散に基づく教師なし画像翻訳手法を提案する。
提案手法は,テキスト誘導と画像誘導の両方の翻訳作業において,最先端のベースラインモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2022-09-30T06:44:37Z) - Learning Diverse Tone Styles for Image Retouching [73.60013618215328]
本稿では,フローベースアーキテクチャの標準化により,多様な画像のリタッチを学習することを提案する。
ジョイントトレーニングパイプラインは、スタイルエンコーダ、条件付きRetouchNet、イメージトーンスタイル正規化フロー(TSFlow)モジュールで構成される。
提案手法は最先端の手法に対して良好に動作し,多様な結果を生成するのに有効である。
論文 参考訳（メタデータ） (2022-07-12T09:49:21Z) - Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。
本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
論文 参考訳（メタデータ） (2022-05-19T13:11:24Z) - Controllable Person Image Synthesis with Spatially-Adaptive Warped
Normalization [72.65828901909708]
制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。
本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。
本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
論文 参考訳（メタデータ） (2021-05-31T07:07:44Z) - A Hierarchical Transformation-Discriminating Generative Model for Few
Shot Anomaly Detection [93.38607559281601]
各トレーニングイメージのマルチスケールパッチ分布をキャプチャする階層的生成モデルを開発した。
この異常スコアは、スケール及び画像領域にわたる正しい変換のパッチベースの投票を集約して得られる。
論文 参考訳（メタデータ） (2021-04-29T17:49:48Z) - Image Restoration by Deep Projected GSURE [115.57142046076164]
Ill-posed inverse problem は、デブロアリングや超解像など、多くの画像処理アプリケーションに現れる。
本稿では,一般化されたSteinUnbiased Risk Estimator(GSURE)の「投影変換」とCNNによる潜在画像のパラメータ化を含む損失関数の最小化に基づく,新たな画像復元フレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-04T08:52:46Z) - P$^2$-GAN: Efficient Style Transfer Using Single Style Image [2.703193151632043]
スタイル転送は、与えられた画像を別の芸術的なスタイルに再レンダリングできる便利な画像合成技術である。
Generative Adversarial Network(GAN)は、ローカルスタイルパターンの表現能力を向上するために、このタスクに対して広く採用されているフレームワークである。
本稿では,ワンスタイル画像からストロークスタイルを効率的に学習できる新しいPatch Permutation GAN(P$2$-GAN)ネットワークを提案する。
論文 参考訳（メタデータ） (2020-01-21T12:08:08Z) - Learning Transformation-Aware Embeddings for Image Forensics [15.484408315588569]
Image Provenance Analysisは、コンテンツを共有するさまざまな操作されたイメージバージョン間の関係を見つけることを目的としている。
証明分析のための主要なサブプロブレムの1つは、完全なコンテンツを共有したり、ほぼ重複している画像の編集順序である。
本稿では,1つの画像から生成した画像に対して,変換を通じて妥当な順序付けを行うための,新しい深層学習に基づくアプローチを提案する。
論文 参考訳（メタデータ） (2020-01-13T22:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。