論文の概要: Intelli-Paint: Towards Developing Human-like Painting Agents
- arxiv url: http://arxiv.org/abs/2112.08930v1
- Date: Thu, 16 Dec 2021 14:56:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-17 14:15:58.979584
- Title: Intelli-Paint: Towards Developing Human-like Painting Agents
- Title(参考訳): Intelli-Paint: 人間のようなペイントエージェントの開発を目指して
- Authors: Jaskirat Singh, Cameron Smith, Jose Echevarria, Liang Zheng
- Abstract要約: そこで本研究では,より人間的な絵画スタイルを示しながら,出力キャンバスの生成を学習する新しい絵画手法を提案する。
Intelli-Paintは1)プログレッシブな階層化戦略から成り、エージェントはまず、各前景オブジェクトをプログレッシブな方法で追加する前に、自然の背景を表現できる。
また,筆画エージェントが各画像領域にセマンティック・アウェアで注目を移すのに役立つ,新しいシーケンシャルなブラシストローク誘導戦略を導入する。
- 参考スコア(独自算出の注目度): 19.261822105543175
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The generation of well-designed artwork is often quite time-consuming and
assumes a high degree of proficiency on part of the human painter. In order to
facilitate the human painting process, substantial research efforts have been
made on teaching machines how to "paint like a human", and then using the
trained agent as a painting assistant tool for human users. However, current
research in this direction is often reliant on a progressive grid-based
division strategy wherein the agent divides the overall image into successively
finer grids, and then proceeds to paint each of them in parallel. This
inevitably leads to artificial painting sequences which are not easily
intelligible to human users. To address this, we propose a novel painting
approach which learns to generate output canvases while exhibiting a more
human-like painting style. The proposed painting pipeline Intelli-Paint
consists of 1) a progressive layering strategy which allows the agent to first
paint a natural background scene representation before adding in each of the
foreground objects in a progressive fashion. 2) We also introduce a novel
sequential brushstroke guidance strategy which helps the painting agent to
shift its attention between different image regions in a semantic-aware manner.
3) Finally, we propose a brushstroke regularization strategy which allows for
~60-80% reduction in the total number of required brushstrokes without any
perceivable differences in the quality of the generated canvases. Through both
quantitative and qualitative results, we show that the resulting agents not
only show enhanced efficiency in output canvas generation but also exhibit a
more natural-looking painting style which would better assist human users
express their ideas through digital artwork.
- Abstract(参考訳): 良く設計されたアートワークの生成は、しばしば非常に時間がかかり、人間の画家の一部に高い習熟度を仮定する。
人間の絵を描く過程を促進するため、機械に「人間のように塗る」方法を教え、その訓練されたエージェントを人間の絵の補助具として利用するなど、かなりの研究努力がなされている。
しかし、この方向の現在の研究はプログレッシブグリッドベースの分割戦略に依存しており、エージェントは全体像を連続的に細いグリッドに分割し、それらを平行に塗る。
これは必然的に、人には分かりにくい人工的な絵のシーケンスをもたらす。
そこで本研究では,より人間的な絵画スタイルを示しながら,出力キャンバスの生成を学習する新しい絵画手法を提案する。
提案する絵画パイプラインintelli-paintは
1) プログレッシブ階層化戦略により、エージェントは、前景の各オブジェクトにプログレッシブな方法で追加する前に、まず自然背景のシーン表現を描画することができる。
2) 絵画エージェントが異なる画像領域に注意を移すのを支援する, 新たな逐次的ブラシストローク指導戦略も導入する。
3) 最後に, 生成したキャンバスの品質にばらつきなく, 必要なブラシストロークの総数を約60~80%削減できるブラシストローク正則化戦略を提案する。
定量的および定性的な結果から,得られたエージェントは,出力キャンバス生成の効率性の向上だけでなく,デジタルアートワークを通じてユーザによるアイデア表現を支援する自然な絵画スタイルも示している。
関連論文リスト
- HD-Painter: High-Resolution and Prompt-Faithful Text-Guided Image
Inpainting with Diffusion Models [62.53428849502191]
HD-Painterはトレーニング不要のアプローチで、プロンプトとコヒーレントなスケールで高解像度画像のインペイントを行う。
本稿では,Prompt-Aware Introverted Attention (PAIntA) レイヤについて紹介する。
また,ポストホックサンプリング戦略をDDIMの一般的な形式にシームレスに統合するRASG(Reweighting Attention Score Guidance)機構を導入する。
論文 参考訳(メタデータ) (2023-12-21T18:09:30Z) - Segmentation-Based Parametric Painting [22.967620358813214]
本研究では,人間のような質とスタイルのバリエーションを持つ大規模で高忠実な絵画の作成を容易にする,新しい画像から絵画へのアプローチを提案する。
我々は,人間の絵画戦略に触発されたセグメンテーションに基づく絵画プロセスとダイナミックアテンションマップアプローチを導入する。
最適化されたバッチ処理とパッチベースの損失フレームワークは、大きなキャンバスの効率的な処理を可能にします。
論文 参考訳(メタデータ) (2023-11-24T04:15:10Z) - Stroke-based Neural Painting and Stylization with Dynamically Predicted
Painting Region [66.75826549444909]
ストロークベースのレンダリングは、ストロークのセットで画像を再現することを目的としている。
本研究では,現在のキャンバスに基づいて絵画領域を予測する合成ニューラルネットワークを提案する。
我々は、新しい微分可能な距離変換損失を伴って、ストロークベースのスタイル転送に拡張する。
論文 参考訳(メタデータ) (2023-09-07T06:27:39Z) - PromptPaint: Steering Text-to-Image Generation Through Paint Medium-like
Interactions [12.792576041526287]
PromptPaintを使えば、ユーザーは難しい概念を表現するプロンプトを混ぜることができる。
生成モデルにおいて,プロンプトの混合,トレードオフの設計,社会技術的課題など,さまざまなアプローチを特徴付ける。
論文 参考訳(メタデータ) (2023-08-09T18:41:11Z) - Interactive Neural Painting [66.9376011879115]
本稿では,対話型ニューラルペイント(NP)の最初のアプローチを提案する。
2段デコーダを用いた条件変圧器変分自動エンコーダ(VAE)アーキテクチャに基づく新しい手法であるI-Paintを提案する。
実験の結果,本手法は良好なストローク提案を提供し,最先端技術と比較した。
論文 参考訳(メタデータ) (2023-07-31T07:02:00Z) - PaintSeg: Training-free Segmentation via Painting [50.17936803209125]
PaintSegは、トレーニングなしでオブジェクトをセグメンテーションするための新しい教師なしのメソッドである。
前者は前景をマスキングして背景を埋め、後者は前景の欠落部分を回復しながら背景をマスキングする。
実験の結果、PaintSegは、粗いマスクプロンプト、ボックスプロンプト、ポイントプロンプトセグメンテーションタスクにおいて、既存のアプローチよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-05-30T20:43:42Z) - Paint it Black: Generating paintings from text descriptions [0.0]
与えられたテキストのプロンプトからフォトリアリスティックな画像を生成し、絵のスタイルを実際の画像に移し、まるでアーティストによって行われたかのように見せるという2つのタスクが何度も解決され、それを達成するためのいくつかのアプローチが提案されている。
本稿では,2つの異なる戦略を探求し,それらを統合した。
第1の戦略は、フォトリアリスティック画像を生成し、スタイル転送を適用し、第2の戦略は、キャプションで実画像上で画像生成モデルをトレーニングし、後でキャプションされた絵に微調整することである。
論文 参考訳(メタデータ) (2023-02-17T11:07:53Z) - Inversion-Based Style Transfer with Diffusion Models [78.93863016223858]
以前の任意の例として誘導された芸術的画像生成法は、しばしば形状変化の制御や要素の伝達に失敗する。
画像のキー情報を効率よく正確に学習できるインバージョンベースのスタイル転送手法(InST)を提案する。
論文 参考訳(メタデータ) (2022-11-23T18:44:25Z) - A domain adaptive deep learning solution for scanpath prediction of
paintings [66.46953851227454]
本稿では,ある絵画の視覚的体験における視聴者の眼球運動分析に焦点を当てた。
我々は、人間の視覚的注意を予測するための新しいアプローチを導入し、人間の認知機能に影響を及ぼす。
提案した新しいアーキテクチャは、画像を取り込んでスキャンパスを返す。
論文 参考訳(メタデータ) (2022-09-22T22:27:08Z) - Paint2Pix: Interactive Painting based Progressive Image Synthesis and
Editing [23.143394242978125]
paint2pixは、初歩的なブラシストローク入力から"ユーザが描きたいもの"を予測することを学ぶ。
paint2pixは、スクラッチからプログレッシブな画像合成に使用できる。
私たちのアプローチは、実際の画像編集にも驚くほど便利なアプローチを形成しています。
論文 参考訳(メタデータ) (2022-08-17T06:08:11Z) - The Joy of Neural Painting [0.0]
私たちは、GANフレームワークに従ってブラシストロークを生成するモデルのクラスをトレーニングします。
GANの限界を克服し、ニューラルネットワークのトレーニングを高速化するために、Transfer Learningをプロセスに適用し、数日から数時間に短縮しました。
論文 参考訳(メタデータ) (2021-11-19T15:44:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。