論文の概要: Text to artistic image generation

• arxiv url: http://arxiv.org/abs/2205.02439v1
• Date: Thu, 5 May 2022 04:44:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-07 03:10:59.616783
• Title: Text to artistic image generation
• Title（参考訳）: テキストから芸術的画像生成
• Authors: Qinghe Tian (University of Waterloo), Jean-Claude Franchitti (New York University Courant Institute)
• Abstract要約: テキスト記述から芸術的な画像を生成できるエンドツーエンドのソリューションを作成します。 ペア化されたテキスト記述とアートイメージのデータセットが不足しているため、テキスト入力に基づいてアートを作成するアルゴリズムを直接訓練することは困難である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Painting is one of the ways for people to express their ideas, but what if people with disabilities in hands want to paint? To tackle this challenge, we create an end-to-end solution that can generate artistic images from text descriptions. However, due to the lack of datasets with paired text description and artistic images, it is hard to directly train an algorithm which can create art based on text input. To address this issue, we split our task into three steps: (1) Generate a realistic image from a text description by using Dynamic Memory Generative Adversarial Network (arXiv:1904.01310), (2) Classify the image as a genre that exists in the WikiArt dataset using Resnet (arXiv: 1512.03385), (3) Select a style that is compatible with the genre and transfer it to the generated image by using neural artistic stylization network (arXiv:1705.06830).
• Abstract（参考訳）: 絵画は、人々が自分のアイデアを表現する方法の1つですが、障害を持つ人が絵を描きたい場合はどうでしょう? この課題に取り組むために、テキスト記述から芸術的な画像を生成するエンドツーエンドのソリューションを作成します。 しかし、テキスト記述と芸術画像のペアによるデータセットの欠如により、テキスト入力に基づいてアートを作成するアルゴリズムを直接学習することは困難である。 この問題に対処するため,我々は,(1)動的メモリ生成適応ネットワーク(arXiv:1904.01310),(2)Resnet(arXiv:1512.03385)を用いてWikiArtデータセットに存在するジャンルとしてイメージを分類する(arXiv:1705.06830),(3)ジャンルと互換性のあるスタイルを選択して,ニューラルネットワーク(arXiv:1705.06830)を用いて生成画像に転送する(arXiv:1705.06830)という3つのステップに分割した。

関連論文リスト

• CLII: Visual-Text Inpainting via Cross-Modal Predictive Interaction [23.683636588751753]
  State-of-the-art inpainting法は主に自然画像用に設計されており、シーンテキスト画像内のテキストを正しく復元することができない。 高品質なシーン画像復元とテキスト補完を実現するために,視覚テキストの塗装作業を特定する。
  論文  参考訳（メタデータ） (2024-07-23T06:12:19Z)
• Visual Text Generation in the Wild [67.37458807253064]
  野生で高品質なテキスト画像を生成する視覚テキスト生成装置(SceneVTG)を提案する。 提案したSceneVTGは、従来のレンダリングに基づく手法と最近の拡散に基づく手法を、忠実さと理性の観点から大きく上回っている。 生成された画像は、テキスト検出とテキスト認識を含むタスクに優れたユーティリティを提供する。
  論文  参考訳（メタデータ） (2024-07-19T09:08:20Z)
• SketchDreamer: Interactive Text-Augmented Creative Sketch Ideation [111.2195741547517]
  画像の画素表現に基づいて訓練されたテキスト条件付き拡散モデルを用いて,制御されたスケッチを生成する手法を提案する。 我々の目標は、プロでないユーザにスケッチを作成させ、一連の最適化プロセスを通じて物語をストーリーボードに変換することです。
  論文  参考訳（メタデータ） (2023-08-27T19:44:44Z)
• TextPainter: Multimodal Text Image Generation with Visual-harmony and Text-comprehension for Poster Design [50.8682912032406]
  本研究では,テキスト画像を生成するための新しいマルチモーダルアプローチであるTextPainterを紹介する。 TextPainterは、グローバルなローカル背景画像をスタイルのヒントとして取り、テキスト画像生成を視覚調和でガイドする。 約80Kのポスターに文レベルのバウンディングボックスとテキストの内容が付加されたPosterT80Kデータセットを構築した。
  論文  参考訳（メタデータ） (2023-08-09T06:59:29Z)
• Text-Guided Synthesis of Eulerian Cinemagraphs [81.20353774053768]
  テキスト記述からシネマグラフを作成する完全自動化された方法であるText2Cinemagraphを紹介する。 連続した動きと反復的なテクスチャを示す流れの川や漂流する雲などの流体要素のシネマグラフに焦点を当てる。
  論文  参考訳（メタデータ） (2023-07-06T17:59:31Z)
• Paint it Black: Generating paintings from text descriptions [0.0]
  与えられたテキストのプロンプトからフォトリアリスティックな画像を生成し、絵のスタイルを実際の画像に移し、まるでアーティストによって行われたかのように見せるという2つのタスクが何度も解決され、それを達成するためのいくつかのアプローチが提案されている。 本稿では,2つの異なる戦略を探求し,それらを統合した。 第1の戦略は、フォトリアリスティック画像を生成し、スタイル転送を適用し、第2の戦略は、キャプションで実画像上で画像生成モデルをトレーニングし、後でキャプションされた絵に微調整することである。
  論文  参考訳（メタデータ） (2023-02-17T11:07:53Z)
• Exploring Stroke-Level Modifications for Scene Text Editing [86.33216648792964]
  シーンテキスト編集(STE)は、元のテキストの背景とスタイルを保存しながら、テキストを所望のテキストに置き換えることを目的としている。 画像全体を編集するには、背景領域とテキスト領域の異なる翻訳規則を同時に学習する必要がある。 Scene Text Image at strokE Level (MOSTEL) を用いた新しいネットワークを提案する。
  論文  参考訳（メタデータ） (2022-12-05T02:10:59Z)
• Inversion-Based Style Transfer with Diffusion Models [78.93863016223858]
  以前の任意の例として誘導された芸術的画像生成法は、しばしば形状変化の制御や要素の伝達に失敗する。 画像のキー情報を効率よく正確に学習できるインバージョンベースのスタイル転送手法(InST)を提案する。
  論文  参考訳（メタデータ） (2022-11-23T18:44:25Z)
• Generative Art Using Neural Visual Grammars and Dual Encoders [25.100664361601112]
  生成芸術を創出するための新しいアルゴリズムについて述べる。 ユーザーがテキスト文字列を入力することができ、この文字列に対する創造的な応答で画像が出力されます。
  論文  参考訳（メタデータ） (2021-05-01T04:21:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。