論文の概要: ProcessPainter: Learn Painting Process from Sequence Data
- arxiv url: http://arxiv.org/abs/2406.06062v1
- Date: Mon, 10 Jun 2024 07:18:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 14:46:46.885000
- Title: ProcessPainter: Learn Painting Process from Sequence Data
- Title（参考訳）: ProcessPainter: シーケンスデータからペイントプロセスを学ぶ
- Authors: Yiren Song, Shijie Huang, Chen Yao, Xiaojun Ye, Hai Ci, Jiaming Liu, Yuxuan Zhang, Mike Zheng Shou,
- Abstract要約: 画家の絵画の過程は本質的に段階的に変化しており、異なる画家や様式によって大きく異なる。
従来のストロークベースのレンダリング手法は、画像をブラシストロークのシーケンスに分解するが、アーティストの真正なプロセスの複製には不十分である。
ProcessPainterは、最初は合成データに基づいて事前訓練され、その後、特定のアーティストの絵のシーケンスで微調整されるテキスト・ビデオ・モデルである。
- 参考スコア（独自算出の注目度）: 27.9875429986135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The painting process of artists is inherently stepwise and varies significantly among different painters and styles. Generating detailed, step-by-step painting processes is essential for art education and research, yet remains largely underexplored. Traditional stroke-based rendering methods break down images into sequences of brushstrokes, yet they fall short of replicating the authentic processes of artists, with limitations confined to basic brushstroke modifications. Text-to-image models utilizing diffusion processes generate images through iterative denoising, also diverge substantially from artists' painting process. To address these challenges, we introduce ProcessPainter, a text-to-video model that is initially pre-trained on synthetic data and subsequently fine-tuned with a select set of artists' painting sequences using the LoRA model. This approach successfully generates painting processes from text prompts for the first time. Furthermore, we introduce an Artwork Replication Network capable of accepting arbitrary-frame input, which facilitates the controlled generation of painting processes, decomposing images into painting sequences, and completing semi-finished artworks. This paper offers new perspectives and tools for advancing art education and image generation technology.
- Abstract（参考訳）: 画家の絵画の過程は本質的に段階的に変化しており、異なる画家や様式によって大きく異なる。
詳細なステップ・バイ・ステップの絵画プロセスの生成は、美術教育や研究には不可欠であるが、ほとんど未調査のままである。
従来のストロークベースのレンダリング手法は、画像をブラシストロークのシーケンスに分解するが、基本的なブラシストロークの修正に制限があるため、アーティストの真のプロセスの複製には不足している。
拡散過程を利用したテキスト・ツー・イメージ・モデルは反復的デノゲーションを通じて画像を生成するが、アーティストの絵画プロセスとは大きく異なる。
これらの課題に対処するために、私たちは、最初に合成データに基づいて事前訓練され、その後、LoRAモデルを使用してアーティストの絵画シーケンスのセットで微調整されたテキスト・ビデオモデルであるProcessPainterを紹介した。
このアプローチは、テキストプロンプトから描画過程を初めて生成する。
さらに,任意のフレーム入力を受理可能なArtwork Replication Networkを導入し,絵のプロセスの制御,絵のシーケンスへの分解,半完成品の完成などを行う。
本稿では,芸術教育と画像生成技術の進歩に向けた新たな視点とツールを提供する。
関連論文リスト
- Learning Inclusion Matching for Animation Paint Bucket Colorization [76.4507878427755]
ネットワークにセグメント間の包摂関係を理解するための,学習に基づく新たな包摂的マッチングパイプラインを導入する。
提案手法では,粗いカラーワープモジュールと包括的マッチングモジュールを統合した2段階のパイプラインを特徴とする。
ネットワークのトレーニングを容易にするため,PaintBucket-Characterと呼ばれるユニークなデータセットも開発した。
論文 参考訳（メタデータ） (2024-03-27T08:32:48Z) - Fill in the ____ (a Diffusion-based Image Inpainting Pipeline) [0.0]
塗り絵は、画像を撮り、失った、または故意に隠された部分を生成する過程である。
現代の塗装技術は、有能な完成物を生成する際、顕著な能力を示している。
既存のモデルにおける重要なギャップに対処し、何が正確に生成されたかをプロンプトし制御する能力に焦点を当てる。
論文 参考訳（メタデータ） (2024-03-24T05:26:55Z) - HD-Painter: High-Resolution and Prompt-Faithful Text-Guided Image Inpainting with Diffusion Models [59.01600111737628]
HD-Painterはトレーニングフリーのアプローチで、プロンプトを正確に追従し、高解像度の画像インパインティングにコヒーレントにスケールする。
そこで我々は,自己注意スコアを向上するPrompt-Aware Introverted Attention (PAIntA) 層を設計した。
実験の結果,HD-Painterは既存の最先端アプローチを定量的に,質的に超越していることがわかった。
論文 参考訳（メタデータ） (2023-12-21T18:09:30Z) - Segmentation-Based Parametric Painting [22.967620358813214]
本研究では,人間のような質とスタイルのバリエーションを持つ大規模で高忠実な絵画の作成を容易にする,新しい画像から絵画へのアプローチを提案する。
我々は,人間の絵画戦略に触発されたセグメンテーションに基づく絵画プロセスとダイナミックアテンションマップアプローチを導入する。
最適化されたバッチ処理とパッチベースの損失フレームワークは、大きなキャンバスの効率的な処理を可能にします。
論文 参考訳（メタデータ） (2023-11-24T04:15:10Z) - Stroke-based Neural Painting and Stylization with Dynamically Predicted
Painting Region [66.75826549444909]
ストロークベースのレンダリングは、ストロークのセットで画像を再現することを目的としている。
本研究では,現在のキャンバスに基づいて絵画領域を予測する合成ニューラルネットワークを提案する。
我々は、新しい微分可能な距離変換損失を伴って、ストロークベースのスタイル転送に拡張する。
論文 参考訳（メタデータ） (2023-09-07T06:27:39Z) - PaintSeg: Training-free Segmentation via Painting [50.17936803209125]
PaintSegは、トレーニングなしでオブジェクトをセグメンテーションするための新しい教師なしのメソッドである。
前者は前景をマスキングして背景を埋め、後者は前景の欠落部分を回復しながら背景をマスキングする。
実験の結果、PaintSegは、粗いマスクプロンプト、ボックスプロンプト、ポイントプロンプトセグメンテーションタスクにおいて、既存のアプローチよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-05-30T20:43:42Z) - Inversion-Based Style Transfer with Diffusion Models [78.93863016223858]
以前の任意の例として誘導された芸術的画像生成法は、しばしば形状変化の制御や要素の伝達に失敗する。
画像のキー情報を効率よく正確に学習できるインバージョンベースのスタイル転送手法(InST)を提案する。
論文 参考訳（メタデータ） (2022-11-23T18:44:25Z) - Perceptual Artifacts Localization for Inpainting [60.5659086595901]
そこで本研究では,知覚的アーティファクトの自動セグメンテーションの学習タスクを提案する。
データセット上で高度なセグメンテーションネットワークをトレーニングし、インペイントされた画像内のインペイントされたアーティファクトを確実にローカライズする。
また, 対象領域と対象領域全体との比率である知覚人工物比 (PAR) という新しい評価指標を提案する。
論文 参考訳（メタデータ） (2022-08-05T18:50:51Z) - Toward Modeling Creative Processes for Algorithmic Painting [12.602935529346063]
論文は、創造的なプロセスには、曖昧でハイレベルな目標と、新しいアイデアを発見するための探索的なプロセスの2つの重要な要素が含まれる、と論じている。
本稿では,不特定損失関数や明示的なタスク分解を伴う反復的塗装手順を含む,図面過程のこれらの要素を模倣するための計算機構をスケッチする。
論文 参考訳（メタデータ） (2022-05-03T16:33:45Z) - Intelli-Paint: Towards Developing Human-like Painting Agents [19.261822105543175]
そこで本研究では,より人間的な絵画スタイルを示しながら,出力キャンバスの生成を学習する新しい絵画手法を提案する。
Intelli-Paintは1)プログレッシブな階層化戦略から成り、エージェントはまず、各前景オブジェクトをプログレッシブな方法で追加する前に、自然の背景を表現できる。
また,筆画エージェントが各画像領域にセマンティック・アウェアで注目を移すのに役立つ,新しいシーケンシャルなブラシストローク誘導戦略を導入する。
論文 参考訳（メタデータ） (2021-12-16T14:56:32Z) - Generative Art Using Neural Visual Grammars and Dual Encoders [25.100664361601112]
生成芸術を創出するための新しいアルゴリズムについて述べる。
ユーザーがテキスト文字列を入力することができ、この文字列に対する創造的な応答で画像が出力されます。
論文 参考訳（メタデータ） (2021-05-01T04:21:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。