論文の概要: Stroke-based Neural Painting and Stylization with Dynamically Predicted Painting Region

• arxiv url: http://arxiv.org/abs/2309.03504v1
• Date: Thu, 7 Sep 2023 06:27:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-08 14:09:01.999664
• Title: Stroke-based Neural Painting and Stylization with Dynamically Predicted Painting Region
• Title（参考訳）: 動的予測塗装領域によるストローク型ニューラルペイントとスティル化
• Authors: Teng Hu, Ran Yi, Haokun Zhu, Liang Liu, Jinlong Peng, Yabiao Wang, Chengjie Wang, Lizhuang Ma
• Abstract要約: ストロークベースのレンダリングは、ストロークのセットで画像を再現することを目的としている。 本研究では,現在のキャンバスに基づいて絵画領域を予測する合成ニューラルネットワークを提案する。 我々は、新しい微分可能な距離変換損失を伴って、ストロークベースのスタイル転送に拡張する。
• 参考スコア（独自算出の注目度）: 66.75826549444909
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stroke-based rendering aims to recreate an image with a set of strokes. Most existing methods render complex images using an uniform-block-dividing strategy, which leads to boundary inconsistency artifacts. To solve the problem, we propose Compositional Neural Painter, a novel stroke-based rendering framework which dynamically predicts the next painting region based on the current canvas, instead of dividing the image plane uniformly into painting regions. We start from an empty canvas and divide the painting process into several steps. At each step, a compositor network trained with a phasic RL strategy first predicts the next painting region, then a painter network trained with a WGAN discriminator predicts stroke parameters, and a stroke renderer paints the strokes onto the painting region of the current canvas. Moreover, we extend our method to stroke-based style transfer with a novel differentiable distance transform loss, which helps preserve the structure of the input image during stroke-based stylization. Extensive experiments show our model outperforms the existing models in both stroke-based neural painting and stroke-based stylization. Code is available at https://github.com/sjtuplayer/Compositional_Neural_Painter
• Abstract（参考訳）: ストロークベースのレンダリングは、ストロークのセットで画像を再現することを目的としている。 既存のほとんどの手法では、一様ブロック分割戦略を使って複雑な画像をレンダリングする。 そこで本研究では,画像平面を絵画領域に均一に分割するのではなく,現在のキャンバスに基づいて次の絵画領域を動的に予測する新しいストロークベースレンダリングフレームワークである合成ニューラルネットワークを提案する。 空のキャンバスから始めて、絵の過程をいくつかのステップに分けます。 各ステップにおいて、ファシックRL戦略で訓練された合成器ネットワークがまず次の塗装領域を予測し、次にWGAN判別器で訓練された画家ネットワークがストロークパラメータを予測し、ストロークレンダが現在のキャンバスの塗装領域にストロークを描画する。 さらに,ストロークに基づくスタイライゼーション中に入力画像の構造を保存できる,新しい微分可能距離変換損失を用いたストローク型スタイル転送にも拡張した。 我々のモデルは脳卒中ベースニューラルペイントと脳卒中ベーススタイリゼーションの両方において既存モデルよりも優れていた。 コードはhttps://github.com/sjtuplayer/compositional_neural_painterで入手できる。

関連論文リスト

• AttentionPainter: An Efficient and Adaptive Stroke Predictor for Scene Painting [82.54770866332456]
  ストロークベースのレンダリング(SBR)は、入力画像をパラメータ化されたストロークのシーケンスに分解することを目的としており、入力画像に似た絵に描画することができる。 単一ステップのニューラルペイントのための効率よく適応的なモデルであるAttentionPainterを提案する。
  論文  参考訳（メタデータ） (2024-10-21T18:36:45Z)
• Inverse Painting: Reconstructing The Painting Process [24.57538165449989]
  我々はこれを自己回帰画像生成問題として定式化し、初期空白の「キャンバス」を反復的に更新する。 モデルは、多くのペイントビデオのトレーニングによって、実際のアーティストから学習する。
  論文  参考訳（メタデータ） (2024-09-30T17:56:52Z)
• Sketch-guided Image Inpainting with Partial Discrete Diffusion Process [5.005162730122933]
  スケッチ誘導インペイントのための新しい部分離散拡散法(PDDP)を提案する。 PDDPは画像のマスキング領域を破損させ、手描きスケッチで条件付けられたこれらのマスキング領域を再構築する。 提案するトランスモジュールは,2つの入力を受信する。マスク領域を含む画像はインペイントされ,クエリスケッチは逆拡散過程をモデル化する。
  論文  参考訳（メタデータ） (2024-04-18T07:07:38Z)
• Segmentation-Based Parametric Painting [22.967620358813214]
  本研究では,人間のような質とスタイルのバリエーションを持つ大規模で高忠実な絵画の作成を容易にする,新しい画像から絵画へのアプローチを提案する。 我々は,人間の絵画戦略に触発されたセグメンテーションに基づく絵画プロセスとダイナミックアテンションマップアプローチを導入する。 最適化されたバッチ処理とパッチベースの損失フレームワークは、大きなキャンバスの効率的な処理を可能にします。
  論文  参考訳（メタデータ） (2023-11-24T04:15:10Z)
• Perceptual Artifacts Localization for Inpainting [60.5659086595901]
  そこで本研究では,知覚的アーティファクトの自動セグメンテーションの学習タスクを提案する。 データセット上で高度なセグメンテーションネットワークをトレーニングし、インペイントされた画像内のインペイントされたアーティファクトを確実にローカライズする。 また, 対象領域と対象領域全体との比率である知覚人工物比 (PAR) という新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2022-08-05T18:50:51Z)
• Cylin-Painting: Seamless {360\textdegree} Panoramic Image Outpainting and Beyond [136.18504104345453]
  塗り絵と塗り絵の間に有意義な協調関係を持つキリン塗り絵の枠組みを提示する。 提案アルゴリズムは、オブジェクト検出、深さ推定、画像超解像などの他のパノラマ視覚タスクに効果的に拡張できる。
  論文  参考訳（メタデータ） (2022-04-18T21:18:49Z)
• Interactive Style Transfer: All is Your Palette [74.06681967115594]
  本稿では,ユーザが対話的に調和したスタイルのイメージを作成できる,図形的な対話型スタイル転送(IST)手法を提案する。 私たちのISTメソッドは、どこからでもブラシやディップスタイルとして機能し、ターゲットのコンテンツイメージの任意の領域にペイントします。
  論文  参考訳（メタデータ） (2022-03-25T06:38:46Z)
• Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
  本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。 私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
  論文  参考訳（メタデータ） (2021-01-11T18:53:47Z)
• Stylized Neural Painting [0.0]
  本稿では,鮮明でリアルな絵画を制御可能なスタイルで生成する画像から絵画への翻訳手法を提案する。 実験により,本手法で作成した絵画は,グローバルな外観と局所的なテクスチャの両方において高い忠実度を有することが示された。
  論文  参考訳（メタデータ） (2020-11-16T17:24:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。