論文の概要: Synthesizing Artistic Cinemagraphs from Text

• arxiv url: http://arxiv.org/abs/2307.03190v1
• Date: Thu, 6 Jul 2023 17:59:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-07 12:58:30.697036
• Title: Synthesizing Artistic Cinemagraphs from Text
• Title（参考訳）: テキストからのアートシネマグラフの合成
• Authors: Aniruddha Mahapatra, Aliaksandr Siarohin, Hsin-Ying Lee, Sergey Tulyakov, Jun-Yan Zhu
• Abstract要約: アーティスティック・シネマグラフ(Arttic Cinemagraph)は、テキスト記述からシネマグラフを作成するための完全に自動化された方法である。 本手法は, 自然景観や芸術的, その他の現実的なシーンの撮影において, 既存のアプローチよりも優れていた。
• 参考スコア（独自算出の注目度）: 56.46314507589732
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Artistic Cinemagraph, a fully automated method for creating cinemagraphs from text descriptions - an especially challenging task when prompts feature imaginary elements and artistic styles, given the complexity of interpreting the semantics and motions of these images. Existing single-image animation methods fall short on artistic inputs, and recent text-based video methods frequently introduce temporal inconsistencies, struggling to keep certain regions static. To address these challenges, we propose an idea of synthesizing image twins from a single text prompt - a pair of an artistic image and its pixel-aligned corresponding natural-looking twin. While the artistic image depicts the style and appearance detailed in our text prompt, the realistic counterpart greatly simplifies layout and motion analysis. Leveraging existing natural image and video datasets, we can accurately segment the realistic image and predict plausible motion given the semantic information. The predicted motion can then be transferred to the artistic image to create the final cinemagraph. Our method outperforms existing approaches in creating cinemagraphs for natural landscapes as well as artistic and other-worldly scenes, as validated by automated metrics and user studies. Finally, we demonstrate two extensions: animating existing paintings and controlling motion directions using text.
• Abstract（参考訳）: 本稿では,これらの画像の意味や動きを複雑に解釈することを考えると,特徴的想像的要素や芸術的スタイルを推し進める上で,特に困難な作業である,テキスト記述からシネマグラフを作成する完全自動化手法であるArttic Cinemagraphを紹介する。 既存の単一画像アニメーション手法は芸術的な入力に不足しており、最近のテキストベースのビデオ手法は時間的不整合をしばしば導入し、特定の領域を静的に保つのに苦労している。 これらの課題に対処するために,1つのテキストプロンプトから画像双生児を合成する手法を提案する。 芸術的なイメージはテキストに詳述されたスタイルや外観を描写するが、リアルなイメージはレイアウトや動きの分析を大幅に単純化する。 既存の自然画像と映像データセットを利用して、現実のイメージを正確に分割し、その意味情報に基づいて、妥当な動きを予測できる。 予測された動きは芸術的イメージに転送され、最終的なシネマグラフが作成される。 本手法は,自然景観のシネマグラフ作成における既存の手法と,自動計測とユーザ研究によって検証された芸術的・異世界的なシーンに匹敵する手法である。 最後に,既存の絵画のアニメーション化と,テキストによる動き方向制御の2つの拡張を示す。

関連論文リスト

• CLII: Visual-Text Inpainting via Cross-Modal Predictive Interaction [23.683636588751753]
  State-of-the-art inpainting法は主に自然画像用に設計されており、シーンテキスト画像内のテキストを正しく復元することができない。 高品質なシーン画像復元とテキスト補完を実現するために,視覚テキストの塗装作業を特定する。
  論文  参考訳（メタデータ） (2024-07-23T06:12:19Z)
• Intelligent Artistic Typography: A Comprehensive Review of Artistic Text Design and Generation [15.367944842667146]
  アーティスティックテキスト生成は、可読性を維持しながら、テキストの美的品質を増幅することを目的としている。 芸術的なテキストスタイリングは、影、輪郭、色、光、テクスチャなど、テキスト上のテキスト効果に重点を置いている。 Stylistizationは文字の変形に焦点を当て、テキスト内の意味的理解を模倣することで視覚的表現を強化する。
  論文  参考訳（メタデータ） (2024-07-20T06:45:09Z)
• Dynamic Typography: Bringing Text to Life via Video Diffusion Prior [73.72522617586593]
  動的タイポグラフィー(Dynamic Typography)と呼ばれる自動テキストアニメーション方式を提案する。 意味的意味を伝えるために文字を変形させ、ユーザプロンプトに基づいて活気ある動きを注入する。 本手法は,ベクトルグラフィックス表現とエンドツーエンド最適化に基づくフレームワークを利用する。
  論文  参考訳（メタデータ） (2024-04-17T17:59:55Z)
• LivePhoto: Real Image Animation with Text-guided Motion Control [51.31418077586208]
  この研究はLivePhotoという名前の実用的なシステムを示し、ユーザーが興味のある画像をテキスト記述でアニメーション化することができる。 まず、よく学習されたテキスト・ツー・イメージ・ジェネレータ(すなわち、安定拡散)がさらに入力として画像を取るのを助ける強力なベースラインを確立する。 次に、時間的モデリングのためのモーションモジュールを改良されたジェネレータに装備し、テキストとモーションのリンクをより良くするための、慎重に設計されたトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-12-05T17:59:52Z)
• DynamiCrafter: Animating Open-domain Images with Video Diffusion Priors [63.43133768897087]
  オープンドメイン画像をアニメーションビデオに変換する手法を提案する。 鍵となるアイデアは、画像を生成プロセスに組み込むことで、テキストからビデオへの拡散モデルに先立っての動きを活用することである。 提案手法は視覚的に説得力があり、より論理的で自然な動きが得られ、入力画像への適合性が向上する。
  論文  参考訳（メタデータ） (2023-10-18T14:42:16Z)
• Text2Performer: Text-Driven Human Video Generation [97.3849869893433]
  テキストによるコンテンツ制作は、創造性に革命をもたらす変革的技術へと進化してきた。 そこで本研究では,対象パフォーマーの外観や動きを記述したテキストから映像シーケンスを合成する,テキスト駆動型ヒューマンビデオ生成の課題について検討する。 そこで本研究では,テキストから手話による映像を鮮明に生成するText2Performerを提案する。
  論文  参考訳（メタデータ） (2023-04-17T17:59:02Z)
• Text to artistic image generation [0.0]
  テキスト記述から芸術的な画像を生成できるエンドツーエンドのソリューションを作成します。 ペア化されたテキスト記述とアートイメージのデータセットが不足しているため、テキスト入力に基づいてアートを作成するアルゴリズムを直接訓練することは困難である。
  論文  参考訳（メタデータ） (2022-05-05T04:44:56Z)
• Animating Pictures with Eulerian Motion Fields [90.30598913855216]
  静止画をリアルなアニメーションループ映像に変換する完全自動手法を示す。 流れ水や吹く煙など,連続流体運動の場面を対象とする。 本稿では,前向きと後向きの両方に特徴を流し,その結果をブレンドする新しいビデオループ手法を提案する。
  論文  参考訳（メタデータ） (2020-11-30T18:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。