論文の概要: Stylized Neural Painting
- arxiv url: http://arxiv.org/abs/2011.08114v1
- Date: Mon, 16 Nov 2020 17:24:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-25 00:32:10.231319
- Title: Stylized Neural Painting
- Title(参考訳): スティル化ニューラルペイント
- Authors: Zhengxia Zou (1), Tianyang Shi (2), Shuang Qiu (1), Yi Yuan (2),
Zhenwei Shi (3) ((1) University of Michigan, Ann Arbor, (2) NetEase Fuxi AI
Lab, (3) Beihang University)
- Abstract要約: 本稿では,鮮明でリアルな絵画を制御可能なスタイルで生成する画像から絵画への翻訳手法を提案する。
実験により,本手法で作成した絵画は,グローバルな外観と局所的なテクスチャの両方において高い忠実度を有することが示された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper proposes an image-to-painting translation method that generates
vivid and realistic painting artworks with controllable styles. Different from
previous image-to-image translation methods that formulate the translation as
pixel-wise prediction, we deal with such an artistic creation process in a
vectorized environment and produce a sequence of physically meaningful stroke
parameters that can be further used for rendering. Since a typical vector
render is not differentiable, we design a novel neural renderer which imitates
the behavior of the vector renderer and then frame the stroke prediction as a
parameter searching process that maximizes the similarity between the input and
the rendering output. We explored the zero-gradient problem on parameter
searching and propose to solve this problem from an optimal transportation
perspective. We also show that previous neural renderers have a parameter
coupling problem and we re-design the rendering network with a rasterization
network and a shading network that better handles the disentanglement of shape
and color. Experiments show that the paintings generated by our method have a
high degree of fidelity in both global appearance and local textures. Our
method can be also jointly optimized with neural style transfer that further
transfers visual style from other images. Our code and animated results are
available at \url{https://jiupinjia.github.io/neuralpainter/}.
- Abstract(参考訳): 本稿では,鮮明でリアルな絵画を制御可能なスタイルで生成する画像から絵画への翻訳手法を提案する。
画像から画像への変換をピクセル単位で予測する従来の方法とは異なり、ベクトル化環境ではこのような芸術的創造プロセスを処理し、さらにレンダリングに使用できる物理的意味のあるストロークパラメータのシーケンスを生成する。
そこで我々は,ベクトルレンダラーの動作を模倣した新しいニューラルレンダラーを設計し,入力と描画出力の類似性を最大化するパラメータ探索プロセスとして,ストローク予測をフレーム化する。
パラメータ探索におけるゼロ勾配問題について検討し, 最適輸送の観点からこの問題を解くことを提案する。
また, 従来のニューラルレンダラーにはパラメータ結合の問題があり, ラスタ化ネットワークとシェーディングネットワークでレンダリングネットワークを再設計し, 形状や色が乱れやすいことを示した。
実験により,本手法で生成した絵画は,グローバルな外観と局所的なテクスチャの両方において高い忠実度を示すことがわかった。
我々の手法は、他の画像から視覚スタイルを転送するニューラルスタイル転送と共同で最適化することもできる。
私たちのコードとアニメーション結果は \url{https://jiupinjia.github.io/neuralpainter/} で入手できる。
関連論文リスト
- MambaPainter: Neural Stroke-Based Rendering in a Single Step [3.18005110016691]
ストロークに基づくレンダリングは、ブラシストロークシーケンスを予測して入力画像を油絵スタイルに再構築することを目的としている。
単一推論ステップで100以上のブラシストロークのシーケンスを予測できるMambaPainterを提案する。
論文 参考訳(メタデータ) (2024-10-16T13:02:45Z) - Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。
提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
論文 参考訳(メタデータ) (2024-03-18T04:01:26Z) - Deep Geometrized Cartoon Line Inbetweening [98.35956631655357]
インベントワイニングは、2つの白黒線図の間の中間フレームを生成する。
画像全体のマッチングとワープに依存する既存のフレームメソッドは、ラインインテワイニングには適していない。
本稿では,AnimeInbetを提案する。これは幾何学的な線描画をエンドポイントにジオメトリし,グラフ融合問題としてインベントワイニングタスクを再構成する。
本手法は,線画の細部と細部を包含しながら,線画の細部と特異な構造を効果的に捉えることができる。
論文 参考訳(メタデータ) (2023-09-28T17:50:05Z) - Stroke-based Neural Painting and Stylization with Dynamically Predicted
Painting Region [66.75826549444909]
ストロークベースのレンダリングは、ストロークのセットで画像を再現することを目的としている。
本研究では,現在のキャンバスに基づいて絵画領域を予測する合成ニューラルネットワークを提案する。
我々は、新しい微分可能な距離変換損失を伴って、ストロークベースのスタイル転送に拡張する。
論文 参考訳(メタデータ) (2023-09-07T06:27:39Z) - Neural Style Transfer for Vector Graphics [3.8983556368110226]
ベクトル画像間のスタイル転送は検討されていない。
標準的なコンテンツとスタイルの損失を適用することは、ベクトル画像描画スタイルを著しく変える。
微分可能化に基づく新しい手法は、スタイル画像の描画に対応するコンテンツ画像の色と形状パラメータを変更することができる。
論文 参考訳(メタデータ) (2023-03-06T16:57:45Z) - Learning Diverse Tone Styles for Image Retouching [73.60013618215328]
本稿では,フローベースアーキテクチャの標準化により,多様な画像のリタッチを学習することを提案する。
ジョイントトレーニングパイプラインは、スタイルエンコーダ、条件付きRetouchNet、イメージトーンスタイル正規化フロー(TSFlow)モジュールで構成される。
提案手法は最先端の手法に対して良好に動作し,多様な結果を生成するのに有効である。
論文 参考訳(メタデータ) (2022-07-12T09:49:21Z) - Saliency Constrained Arbitrary Image Style Transfer using SIFT and DCNN [22.57205921266602]
一般的なニューラルスタイルの転送方法を使用する場合、スタイル画像のテクスチャや色は通常、コンテンツ画像に不完全に転送される。
本稿では,その効果を低減・回避するための新しいサリエンシ制約手法を提案する。
実験により、ソースイメージの正当性マップは正しいマッチングを見つけ出し、アーティファクトを避けるのに役立つことが示された。
論文 参考訳(メタデータ) (2022-01-14T09:00:55Z) - Differentiable Drawing and Sketching [0.0]
我々は、点、線、曲線をピクセルに描画する過程の微分可能な緩和を示す。
このリラクゼーションにより、エンドツーエンドの差別化可能なプログラムとディープネットワークを学習および最適化できます。
論文 参考訳(メタデータ) (2021-03-30T09:25:55Z) - Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。
私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
論文 参考訳(メタデータ) (2021-01-11T18:53:47Z) - Learning to Caricature via Semantic Shape Transform [95.25116681761142]
本稿では,意味的形状変換に基づくアルゴリズムを提案する。
提案手法は,顔の構造を維持しつつ,視覚的に心地よい形状の誇張を表現できることを示す。
論文 参考訳(メタデータ) (2020-08-12T03:41:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。