論文の概要: CreativeSynth: Creative Blending and Synthesis of Visual Arts based on Multimodal Diffusion

• arxiv url: http://arxiv.org/abs/2401.14066v2
• Date: Tue, 30 Jan 2024 05:58:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 17:52:59.009856
• Title: CreativeSynth: Creative Blending and Synthesis of Visual Arts based on Multimodal Diffusion
• Title（参考訳）: CreativeSynth:多モード拡散に基づく視覚芸術の創造的ブレンディングと合成
• Authors: Nisha Huang, Weiming Dong, Yuxin Zhang, Fan Tang, Ronghui Li, Chongyang Ma, Xiu Li, Changsheng Xu
• Abstract要約: 大規模なテキスト・画像生成モデルは印象的な進歩を遂げ、高品質な画像を合成する能力を示している。 しかし、これらのモデルを芸術的な画像編集に適用することは、2つの重要な課題を提起する。 我々は,マルチモーダル入力をコーディネートする拡散モデルに基づく,革新的な統一フレームワークCreative Synthを構築した。
• 参考スコア（独自算出の注目度）: 74.44273919041912
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large-scale text-to-image generative models have made impressive strides, showcasing their ability to synthesize a vast array of high-quality images. However, adapting these models for artistic image editing presents two significant challenges. Firstly, users struggle to craft textual prompts that meticulously detail visual elements of the input image. Secondly, prevalent models, when effecting modifications in specific zones, frequently disrupt the overall artistic style, complicating the attainment of cohesive and aesthetically unified artworks. To surmount these obstacles, we build the innovative unified framework CreativeSynth, which is based on a diffusion model with the ability to coordinate multimodal inputs and multitask in the field of artistic image generation. By integrating multimodal features with customized attention mechanisms, CreativeSynth facilitates the importation of real-world semantic content into the domain of art through inversion and real-time style transfer. This allows for the precise manipulation of image style and content while maintaining the integrity of the original model parameters. Rigorous qualitative and quantitative evaluations underscore that CreativeSynth excels in enhancing artistic images' fidelity and preserves their innate aesthetic essence. By bridging the gap between generative models and artistic finesse, CreativeSynth becomes a custom digital palette.
• Abstract（参考訳）: 大規模なテキストから画像への生成モデルは印象的な進歩を遂げ、高品質画像の膨大な配列を合成する能力を示している。 しかし、これらのモデルを芸術的な画像編集に適応させることには、2つの大きな課題がある。 まず、ユーザーは入力画像の視覚的要素を微妙に詳細化するテキストプロンプトを作成するのに苦労する。 第二に、一般的なモデルは、特定の領域で修正を施すとき、しばしば全体的な芸術様式を乱し、結束的で美学的に統一された芸術作品の達成を複雑にする。 これらの障害を克服するために,芸術的画像生成の分野におけるマルチモーダル入力とマルチタスクの協調が可能な拡散モデルに基づく,革新的な統一フレームワークcreativesynthを構築した。 カスタマイズされたアテンションメカニズムを備えたマルチモーダル機能を統合することで、CreativeSynthは、インバージョンとリアルタイムスタイルの転送を通じて、実世界のセマンティックコンテンツをアートドメインにインポートすることを容易にする。 これにより、元のモデルパラメータの整合性を保ちながら、画像スタイルと内容の正確な操作が可能になる。 厳密な質的、定量的な評価は、クリエイティブシントが芸術的イメージの忠実さを増進し、自然の美的本質を保っていることを強調している。 生成モデルと芸術的な微妙さのギャップを埋めることで、CreativeSynthはカスタムデジタルパレットになる。

関連論文リスト

• Neural-Polyptych: Content Controllable Painting Recreation for Diverse Genres [30.83874057768352]
  我々は,広汎で高解像度な絵画の作成を容易にするために,ニューラル・ポリプチッチという統一的な枠組みを提案する。 我々は、生成プロセスを2つの部分に分割する、マルチスケールのGANベースのアーキテクチャを設計した。 我々は東洋絵画と西洋絵画の両方の多様なジャンルへのアプローチを検証する。
  論文  参考訳（メタデータ） (2024-09-29T12:46:00Z)
• ORACLE: Leveraging Mutual Information for Consistent Character Generation with LoRAs in Diffusion Models [3.7599363231894185]
  単一テキストプロンプトから一貫した文字表現を生成するための新しいフレームワークを提案する。 我々のフレームワークは、一貫した視覚的アイデンティティを持つ文字を生成する既存の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-06-04T23:39:08Z)
• FaceStudio: Put Your Face Everywhere in Seconds [23.381791316305332]
  アイデンティティを保存する画像合成は、パーソナライズされたスタイリスティックなタッチを加えながら、被験者のアイデンティティを維持することを目指している。 Textual InversionやDreamBoothといった従来の手法は、カスタムイメージ作成に力を入れている。 本研究は,人間の画像に焦点をあてたアイデンティティ保存合成への新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-05T11:02:45Z)
• DreamCreature: Crafting Photorealistic Virtual Creatures from Imagination [140.1641573781066]
  ターゲット概念のラベルなしイメージのセットを前提として、我々は、新しいハイブリッド概念を創出できるT2Iモデルをトレーニングすることを目指している。 そこで我々はDreamCreatureと呼ばれる新しい手法を提案し,その基盤となるサブ概念を同定し抽出する。 したがって、T2Iは忠実な構造とフォトリアリスティックな外観を持つ新しい概念を生成するのに適応する。
  論文  参考訳（メタデータ） (2023-11-27T01:24:31Z)
• Generative AI Model for Artistic Style Transfer Using Convolutional Neural Networks [0.0]
  芸術的なスタイルの転送は、ある画像の内容を別の芸術的なスタイルに融合させ、ユニークな視覚的な構成を作り出すことである。 本稿では,畳み込みニューラルネットワーク(CNN)を用いた新しいスタイル伝達手法の概要を概説する。
  論文  参考訳（メタデータ） (2023-10-27T16:21:17Z)
• Composite Diffusion | whole >= \Sigma parts [0.0]
  本稿では,サブシーンからの合成により,アーティストが高品質な画像を生成する手段として,複合拡散を導入する。 サブシーンの生成, 構成, 調和の代替手段を可能にする, 複合拡散の包括的かつモジュラーな方法を提案する。
  論文  参考訳（メタデータ） (2023-07-25T17:58:43Z)
• Composer: Creative and Controllable Image Synthesis with Composable Conditions [57.78533372393828]
  ビッグデータで学んだ最近の大規模な生成モデルは、驚くべき画像を合成できるが、制御性は限られている。 この研究は、合成品質とモデルの創造性を維持しつつ、空間配置やパレットのような出力画像の柔軟な制御を可能にする新しい世代パラダイムを提供する。
  論文  参考訳（メタデータ） (2023-02-20T05:48:41Z)
• QuantArt: Quantizing Image Style Transfer Towards High Visual Fidelity [94.5479418998225]
  視覚的忠実度の高いスタイリングのためのQuantArtと呼ばれる新しいスタイル転送フレームワークを提案する。 本フレームワークは,既存のスタイル転送方式と比較して,視覚的忠実度を著しく向上させる。
  論文  参考訳（メタデータ） (2022-12-20T17:09:53Z)
• DoodleFormer: Creative Sketch Drawing with Transformers [68.18953603715514]
  創造的スケッチ(Creative sketching)またはドゥーリング(Duodling)は、日常の視覚的物体の想像的かつ以前は目に見えない描写が描かれた表現的活動である。 本稿では,クリエイティビティスケッチ生成問題を粗いスケッチ合成に分解する,粗い2段階のフレームワークDoodleFormerを提案する。 生成した創作スケッチの多様性を確保するため,確率論的粗いスケッチデコーダを導入する。
  論文  参考訳（メタデータ） (2021-12-06T18:59:59Z)
• Modeling Artistic Workflows for Image Generation and Editing [83.43047077223947]
  与えられた芸術的ワークフローに従う生成モデルを提案する。 既存の芸術作品の多段画像編集だけでなく、多段画像生成も可能である。
  論文  参考訳（メタデータ） (2020-07-14T17:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。