論文の概要: Neural-Polyptych: Content Controllable Painting Recreation for Diverse Genres

• arxiv url: http://arxiv.org/abs/2409.19690v1
• Date: Sun, 29 Sep 2024 12:46:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:02:32.370124
• Title: Neural-Polyptych: Content Controllable Painting Recreation for Diverse Genres
• Title（参考訳）: Neural-Polyptych: 多様な遺伝子に対するコンテントコントロール可能な絵画レクリエーション
• Authors: Yiming Zhao, Dewen Guo, Zhouhui Lian, Yue Gao, Jianhong Han, Jie Feng, Guoping Wang, Bingfeng Zhou, Sheng Li,
• Abstract要約: 我々は,広汎で高解像度な絵画の作成を容易にするために,ニューラル・ポリプチッチという統一的な枠組みを提案する。 我々は、生成プロセスを2つの部分に分割する、マルチスケールのGANベースのアーキテクチャを設計した。 我々は東洋絵画と西洋絵画の両方の多様なジャンルへのアプローチを検証する。
• 参考スコア（独自算出の注目度）: 30.83874057768352
• License:
• Abstract: To bridge the gap between artists and non-specialists, we present a unified framework, Neural-Polyptych, to facilitate the creation of expansive, high-resolution paintings by seamlessly incorporating interactive hand-drawn sketches with fragments from original paintings. We have designed a multi-scale GAN-based architecture to decompose the generation process into two parts, each responsible for identifying global and local features. To enhance the fidelity of semantic details generated from users' sketched outlines, we introduce a Correspondence Attention module utilizing our Reference Bank strategy. This ensures the creation of high-quality, intricately detailed elements within the artwork. The final result is achieved by carefully blending these local elements while preserving coherent global consistency. Consequently, this methodology enables the production of digital paintings at megapixel scale, accommodating diverse artistic expressions and enabling users to recreate content in a controlled manner. We validate our approach to diverse genres of both Eastern and Western paintings. Applications such as large painting extension, texture shuffling, genre switching, mural art restoration, and recomposition can be successfully based on our framework.
• Abstract（参考訳）: アーティストと非スペシャリストのギャップを埋めるため,原画の断片にインタラクティブな手描きスケッチをシームレスに組み込むことで,広範かつ高解像度な絵画の作成を容易にする統一的な枠組みであるNeural-Polyptychを提案する。 我々は、生成プロセスを2つの部分に分割し、グローバルな特徴とローカルな特徴を識別するマルチスケールのGANアーキテクチャを設計した。 ユーザによるスケッチアウトラインから生成されたセマンティックディテールの忠実性を高めるため,我々の参照銀行戦略を利用した対応注意モジュールを提案する。 これにより、高品質で複雑な要素をアートワーク内で作成することができる。 最終的な結果は、これらの局所的な要素を慎重にブレンドし、一貫性のあるグローバルな一貫性を保つことで達成される。 これにより、メガピクセルスケールでデジタル絵画を制作し、多様な芸術表現を収容し、ユーザーが制御された方法でコンテンツを再現することができる。 我々は東洋絵画と西洋絵画の両方の多様なジャンルへのアプローチを検証する。 大規模塗装, テクスチャシャッフル, ジャンル変更, 壁画の復元, 再構成などの応用は, 我々の枠組みに基づいて実現可能である。

関連論文リスト

• LPGen: Enhancing High-Fidelity Landscape Painting Generation through Diffusion Model [1.7966001353008776]
  本稿では,ランドスケープ・ペインティング・ジェネレーションのための高忠実かつ制御可能なモデルLPGenを提案する。 拡散モデルに画像プロンプトを統合する新しいマルチモーダルフレームワークを提案する。 我々は、画像とテキストのプロンプトの互換性を確保するために、分離されたクロスアテンション戦略を実装し、マルチモーダル画像生成を容易にする。
  論文  参考訳（メタデータ） (2024-07-24T12:32:24Z)
• VIP: Versatile Image Outpainting Empowered by Multimodal Large Language Model [76.02314305164595]
  本研究は,ユーザの要求に応じて結果のカスタマイズが可能な,新たな画像出力フレームワークを提案する。 画像のマスキング部分とマスキング部分のテキスト記述を自動的に抽出し整理するマルチモーダル大言語モデル(MLLM)を利用する。 さらに、画像の特定の空間領域とテキストプロンプトの対応する部分との相互作用を強化するために、特別にCentral-Total-Surrounding (CTS) と呼ばれるCentral-Attentionモジュールが精巧に設計されている。
  論文  参考訳（メタデータ） (2024-06-03T07:14:19Z)
• Block and Detail: Scaffolding Sketch-to-Image Generation [70.34211439488223]
  アーティストの反復的な洗練プロセスと整合する新しいスケッチ・ツー・イメージ・ツールを提案する。 私たちのツールは、ブロックされたストロークをスケッチして、オブジェクトの配置や形を粗く表現し、詳細なストロークを表現して、形やシルエットを洗練します。 反復過程の任意の点において、そのようなスケッチから高忠実度画像を生成するための2パスアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-02-28T07:09:31Z)
• CreativeSynth: Creative Blending and Synthesis of Visual Arts based on Multimodal Diffusion [74.44273919041912]
  大規模なテキスト・画像生成モデルは印象的な進歩を遂げ、高品質な画像を合成する能力を示している。 しかし、これらのモデルを芸術的な画像編集に適用することは、2つの重要な課題を提起する。 我々は,マルチモーダル入力をコーディネートする拡散モデルに基づく,革新的な統一フレームワークCreative Synthを構築した。
  論文  参考訳（メタデータ） (2024-01-25T10:42:09Z)
• Segmentation-Based Parametric Painting [22.967620358813214]
  本研究では,人間のような質とスタイルのバリエーションを持つ大規模で高忠実な絵画の作成を容易にする,新しい画像から絵画へのアプローチを提案する。 我々は,人間の絵画戦略に触発されたセグメンテーションに基づく絵画プロセスとダイナミックアテンションマップアプローチを導入する。 最適化されたバッチ処理とパッチベースの損失フレームワークは、大きなキャンバスの効率的な処理を可能にします。
  論文  参考訳（メタデータ） (2023-11-24T04:15:10Z)
• Composite Diffusion | whole >= \Sigma parts [0.0]
  本稿では,サブシーンからの合成により,アーティストが高品質な画像を生成する手段として,複合拡散を導入する。 サブシーンの生成, 構成, 調和の代替手段を可能にする, 複合拡散の包括的かつモジュラーな方法を提案する。
  論文  参考訳（メタデータ） (2023-07-25T17:58:43Z)
• CCLAP: Controllable Chinese Landscape Painting Generation via Latent Diffusion Model [54.74470985388726]
  制御可能な中国の風景画作成方法CCLAP。 本手法は,特に芸術的・芸術的概念において,最先端の演奏を実現する。
  論文  参考訳（メタデータ） (2023-04-09T04:16:28Z)
• Adaptively-Realistic Image Generation from Stroke and Sketch with Diffusion Model [31.652827838300915]
  拡散モデルに基づくスケッチやストロークからの画像合成を3次元制御する統合フレームワークを提案する。 我々のフレームワークは、形状、色、リアリズムを制御したカスタマイズ画像の生成に柔軟性を提供しながら、最先端のパフォーマンスを実現している。 提案手法は,実画像の編集,部分スケッチとストロークの生成,マルチドメインマルチモーダル合成などの応用を解き放つ。
  論文  参考訳（メタデータ） (2022-08-26T13:59:26Z)
• Arbitrary Style Transfer with Structure Enhancement by Combining the Global and Local Loss [51.309905690367835]
  本稿では,グローバルな損失と局所的な損失を組み合わせ,構造拡張を伴う任意のスタイル転送手法を提案する。 実験結果から,視覚効果の優れた高画質画像が生成できることが示唆された。
  論文  参考訳（メタデータ） (2022-07-23T07:02:57Z)
• In&Out : Diverse Image Outpainting via GAN Inversion [89.84841983778672]
  image outpaintingは、利用可能なコンテンツを超えて、入力画像の意味的に一貫した拡張を求める。 本研究では、生成的対向ネットワークの反転の観点から問題を定式化する。 私達の発電機はイメージの彼らの共同潜入コードそして個々の位置で調節されるマイクロ パッチをレンダリングします。
  論文  参考訳（メタデータ） (2021-04-01T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。