論文の概要: Collaborative Neural Painting

• arxiv url: http://arxiv.org/abs/2312.01800v1
• Date: Mon, 4 Dec 2023 10:45:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 15:27:26.787879
• Title: Collaborative Neural Painting
• Title（参考訳）: 協調型ニューラルペイント
• Authors: Nicola Dall'Asen, Willi Menapace, Elia Peruzzo, Enver Sangineto, Yiming Wang, Elisa Ricci
• Abstract要約: 我々は,人間と機械の協調的な絵画作成を容易にする新しいタスク,CNP(Collaborative Neural Painting)を導入する。 CNPはコヒーレントな絵画の完成を支える一連のストロークを生成するべきである。 本研究では,パラメータ化されたストロークの列に基づく絵画表現を提案する。
• 参考スコア（独自算出の注目度）: 27.880814775833578
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The process of painting fosters creativity and rational planning. However, existing generative AI mostly focuses on producing visually pleasant artworks, without emphasizing the painting process. We introduce a novel task, Collaborative Neural Painting (CNP), to facilitate collaborative art painting generation between humans and machines. Given any number of user-input brushstrokes as the context or just the desired object class, CNP should produce a sequence of strokes supporting the completion of a coherent painting. Importantly, the process can be gradual and iterative, so allowing users' modifications at any phase until the completion. Moreover, we propose to solve this task using a painting representation based on a sequence of parametrized strokes, which makes it easy both editing and composition operations. These parametrized strokes are processed by a Transformer-based architecture with a novel attention mechanism to model the relationship between the input strokes and the strokes to complete. We also propose a new masking scheme to reflect the interactive nature of CNP and adopt diffusion models as the basic learning process for its effectiveness and diversity in the generative field. Finally, to develop and validate methods on the novel task, we introduce a new dataset of painted objects and an evaluation protocol to benchmark CNP both quantitatively and qualitatively. We demonstrate the effectiveness of our approach and the potential of the CNP task as a promising avenue for future research.
• Abstract（参考訳）: 絵画の過程は創造性と合理的な計画を促進する。 しかし、既存の生成AIは主に、絵画プロセスを強調することなく、視覚的に快適なアートワークを作ることに焦点を当てている。 我々は,人間と機械の協調的な絵画作成を容易にする新しいタスク,CNP(Collaborative Neural Painting)を導入する。 ユーザ入力のブラシストロークをコンテキストとして、あるいは単に望ましいオブジェクトクラスとして考えると、CNPはコヒーレントな絵の完成をサポートする一連のストロークを生成するべきである。 重要なことに、プロセスは徐々に反復的になり、ユーザーの修正を完了まで任意の段階で行えるようになる。 さらに,パラメトリドストロークのシーケンスに基づく絵画表現を用いてこの課題を解決し,編集作業と構成作業の両方を容易に行えるようにする。 これらのパラメトリドストロークは、入力ストロークと完了ストロークの関係をモデル化する新しい注意機構を備えたトランスベースアーキテクチャによって処理される。 また, cnpの対話的性質を反映した新しいマスキング手法を提案し, 生成分野における効果と多様性に関する基礎学習プロセスとして拡散モデルを採用する。 最後に,新しい課題の手法を開発し,検証するために,CNPを定量的かつ定性的に評価するための新しい塗装対象のデータセットと評価プロトコルを導入する。 我々は,今後の研究の道筋として,我々のアプローチの有効性とCNPタスクの可能性を示す。

関連論文リスト

• AttentionPainter: An Efficient and Adaptive Stroke Predictor for Scene Painting [82.54770866332456]
  ストロークベースのレンダリング(SBR)は、入力画像をパラメータ化されたストロークのシーケンスに分解することを目的としており、入力画像に似た絵に描画することができる。 単一ステップのニューラルペイントのための効率よく適応的なモデルであるAttentionPainterを提案する。
  論文  参考訳（メタデータ） (2024-10-21T18:36:45Z)
• Artistic Intelligence: A Diffusion-Based Framework for High-Fidelity Landscape Painting Synthesis [2.205829309604458]
  LPGenはランドスケープ・ペインティング・ジェネレーションに特化して設計された新しい拡散モデルである。 LPGenは、構造的およびスタイリスティックな特徴を独立して処理する分離されたクロスアテンションメカニズムを導入している。 モデルは高解像度のランドスケープ画像のキュレートされたデータセットに事前トレーニングされ、異なる芸術様式で分類され、詳細で一貫した出力を確保するために微調整される。
  論文  参考訳（メタデータ） (2024-07-24T12:32:24Z)
• An Inpainting-Infused Pipeline for Attire and Background Replacement [0.0]
  我々は、画像操作を重視したGenAIとコンピュータビジョンの高度な技術を活用し、統合されたアプローチを探求する。 この手法は、深さ推定、背景の生成と置換など、いくつかの段階を通じて展開される。 本研究で行った実験は, 視覚的に捕食するコンテンツを生み出す可能性を強調し, 方法論の有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2024-02-05T20:34:32Z)
• Image Inpainting via Tractable Steering of Diffusion Models [54.13818673257381]
  本稿では,トラクタブル確率モデル(TPM)の制約後部を正確に,かつ効率的に計算する能力を活用することを提案する。 具体的には、確率回路(PC)と呼ばれる表現型TPMのクラスを採用する。 提案手法は, 画像の全体的な品質とセマンティックコヒーレンスを, 計算オーバーヘッドを10%加えるだけで一貫的に改善できることを示す。
  論文  参考訳（メタデータ） (2023-11-28T21:14:02Z)
• Interactive Neural Painting [66.9376011879115]
  本稿では,対話型ニューラルペイント(NP)の最初のアプローチを提案する。 2段デコーダを用いた条件変圧器変分自動エンコーダ(VAE)アーキテクチャに基づく新しい手法であるI-Paintを提案する。 実験の結果,本手法は良好なストローク提案を提供し,最先端技術と比較した。
  論文  参考訳（メタデータ） (2023-07-31T07:02:00Z)
• Modeling Image Composition for Complex Scene Generation [77.10533862854706]
  本稿では,レイアウト・ツー・イメージ生成タスクにおける最先端結果を実現する手法を提案する。 本稿では,RGB画像をパッチトークンに圧縮した後,オブジェクト・トゥ・オブジェクト,オブジェクト・トゥ・パッチ,パッチ・トゥ・パッチの依存関係を探索するTransformer with Focal Attention (TwFA)を提案する。
  論文  参考訳（メタデータ） (2022-06-02T08:34:25Z)
• Toward Modeling Creative Processes for Algorithmic Painting [12.602935529346063]
  論文は、創造的なプロセスには、曖昧でハイレベルな目標と、新しいアイデアを発見するための探索的なプロセスの2つの重要な要素が含まれる、と論じている。 本稿では,不特定損失関数や明示的なタスク分解を伴う反復的塗装手順を含む,図面過程のこれらの要素を模倣するための計算機構をスケッチする。
  論文  参考訳（メタデータ） (2022-05-03T16:33:45Z)
• Modeling Artistic Workflows for Image Generation and Editing [83.43047077223947]
  与えられた芸術的ワークフローに従う生成モデルを提案する。 既存の芸術作品の多段画像編集だけでなく、多段画像生成も可能である。
  論文  参考訳（メタデータ） (2020-07-14T17:54:26Z)
• Head2Head: Video-based Neural Head Synthesis [50.32988828989691]
  顔再現のための新しい機械学習アーキテクチャを提案する。 提案手法は, 顔の表情, ポーズ, 視線を, 最先端の手法よりも正確に写実的な方法で対象映像に転送できることを示す。
  論文  参考訳（メタデータ） (2020-05-22T00:44:43Z)
• Interactive Neural Style Transfer with Artists [6.130486652666935]
  本稿では,絵師と様々なニューラルスタイルのトランスファーアルゴリズムが実際のキャンバス上で相互作用する,インタラクティブな絵画プロセスを提案する。 我々は,一組の絵画画像を集め,ニューラルスタイル転送アルゴリズムの予測性に基づく新しい評価手法を提案する。
  論文  参考訳（メタデータ） (2020-03-14T15:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。