論文の概要: Dynamic Typography: Bringing Text to Life via Video Diffusion Prior
- arxiv url: http://arxiv.org/abs/2404.11614v2
- Date: Thu, 18 Apr 2024 06:06:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-19 11:42:38.867045
- Title: Dynamic Typography: Bringing Text to Life via Video Diffusion Prior
- Title(参考訳): ダイナミック・タイポグラフィー: ビデオ拡散による生活にテキストをもたらす
- Authors: Zichen Liu, Yihao Meng, Hao Ouyang, Yue Yu, Bolin Zhao, Daniel Cohen-Or, Huamin Qu,
- Abstract要約: 動的タイポグラフィー(Dynamic Typography)と呼ばれる自動テキストアニメーション方式を提案する。
意味的意味を伝えるために文字を変形させ、ユーザプロンプトに基づいて活気ある動きを注入する。
本手法は,ベクトルグラフィックス表現とエンドツーエンド最適化に基づくフレームワークを利用する。
- 参考スコア(独自算出の注目度): 73.72522617586593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text animation serves as an expressive medium, transforming static communication into dynamic experiences by infusing words with motion to evoke emotions, emphasize meanings, and construct compelling narratives. Crafting animations that are semantically aware poses significant challenges, demanding expertise in graphic design and animation. We present an automated text animation scheme, termed "Dynamic Typography", which combines two challenging tasks. It deforms letters to convey semantic meaning and infuses them with vibrant movements based on user prompts. Our technique harnesses vector graphics representations and an end-to-end optimization-based framework. This framework employs neural displacement fields to convert letters into base shapes and applies per-frame motion, encouraging coherence with the intended textual concept. Shape preservation techniques and perceptual loss regularization are employed to maintain legibility and structural integrity throughout the animation process. We demonstrate the generalizability of our approach across various text-to-video models and highlight the superiority of our end-to-end methodology over baseline methods, which might comprise separate tasks. Through quantitative and qualitative evaluations, we demonstrate the effectiveness of our framework in generating coherent text animations that faithfully interpret user prompts while maintaining readability. Our code is available at: https://animate-your-word.github.io/demo/.
- Abstract(参考訳): テキストアニメーションは、感情を誘発し、意味を強調し、魅力的な物語を構築することによって、静的なコミュニケーションを動的体験に変換する表現媒体として機能する。
セマンティックに認識されているアニメーションを作成することは、グラフィックデザインとアニメーションに関する専門知識を必要とする、重大な課題を引き起こす。
本稿では,2つの課題を組み合わせ,動的タイポグラフィー(Dynamic Typography)と呼ばれる自動テキストアニメーション方式を提案する。
意味的意味を伝えるために文字を変形させ、ユーザプロンプトに基づいて活気ある動きを注入する。
本手法は,ベクトルグラフィックス表現とエンドツーエンド最適化に基づくフレームワークを利用する。
このフレームワークは、ニューラルネットワークを用いて文字を基本形に変換し、フレームごとの動きを適用し、意図したテキストの概念との一貫性を促進する。
形状保存技術と知覚的損失正規化は、アニメーションプロセス全体を通して可視性と構造的整合性を維持するために用いられる。
様々なテキスト・ビデオ・モデルにまたがるアプローチの一般化性を実証し、異なるタスクを構成するであろうベースライン・メソッドよりもエンド・ツー・エンド・エンド・方法論の優位性を強調した。
定量的かつ質的な評価を通じて,可読性を維持しつつユーザのプロンプトを忠実に解釈するコヒーレントなテキストアニメーションを生成する上で,我々のフレームワークの有効性を実証する。
私たちのコードは、https://animate-your-word.github.io/demo/.com/で利用可能です。
関連論文リスト
- Iterative Motion Editing with Natural Language [26.03987547043184]
本稿では,既存の文字アニメーションに局所的な編集を反復的に指定するために自然言語を用いる手法を提案する。
我々は、既存の言語を利用して、モーション編集のテキスト記述をモーション編集オペレータのシーケンスに変換するアルゴリズムを提案する。
本システムは,アニメーターの編集意図を尊重し,オリジナルアニメーションに忠実であり,リアルなキャラクターアニメーション結果が得られることを実証する。
論文 参考訳(メタデータ) (2023-12-15T22:38:24Z) - LivePhoto: Real Image Animation with Text-guided Motion Control [51.31418077586208]
この研究はLivePhotoという名前の実用的なシステムを示し、ユーザーが興味のある画像をテキスト記述でアニメーション化することができる。
まず、よく学習されたテキスト・ツー・イメージ・ジェネレータ(すなわち、安定拡散)がさらに入力として画像を取るのを助ける強力なベースラインを確立する。
次に、時間的モデリングのためのモーションモジュールを改良されたジェネレータに装備し、テキストとモーションのリンクをより良くするための、慎重に設計されたトレーニングパイプラインを提案する。
論文 参考訳(メタデータ) (2023-12-05T17:59:52Z) - SemanticBoost: Elevating Motion Generation with Augmented Textual Cues [73.83255805408126]
我々のフレームワークはセマンティック・エンハンスメント・モジュールとコンテキスト調整型モーション・デノイザ(CAMD)から構成されている。
CAMDアプローチは、高品質でセマンティックに一貫性のあるモーションシーケンスを生成するための全エンコンパスソリューションを提供する。
実験の結果,SemanticBoostは拡散法として自己回帰法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-10-31T09:58:11Z) - ExpCLIP: Bridging Text and Facial Expressions via Semantic Alignment [5.516575655881858]
本稿では、感情のプロンプトとして自然言語を活用することにより、任意のスタイルの制御を可能にする手法を提案する。
提案手法は,表現力のある表情生成を実現し,所望のスタイルを効果的に伝達する柔軟性を向上する。
論文 参考訳(メタデータ) (2023-08-28T09:35:13Z) - Text-Guided Synthesis of Eulerian Cinemagraphs [81.20353774053768]
テキスト記述からシネマグラフを作成する完全自動化された方法であるText2Cinemagraphを紹介する。
連続した動きと反復的なテクスチャを示す流れの川や漂流する雲などの流体要素のシネマグラフに焦点を当てる。
論文 参考訳(メタデータ) (2023-07-06T17:59:31Z) - Unsupervised Learning of Style-Aware Facial Animation from Real Acting
Performances [3.95944314850151]
本稿では, ブレンド形状, 動的テクスチャ, ニューラルレンダリングに基づく写真リアルな頭部モデルのテキスト/音声駆動アニメーションのための新しい手法を提案する。
本手法は,テキストや音声をアニメーションパラメータの列に変換する条件付きCNNに基づいている。
リアルなリアルタイムレンダリングのために、私たちは、改良された色と前景マットを演算することで、ピクセル化ベースのレンダリングを洗練するU-Netを訓練します。
論文 参考訳(メタデータ) (2023-06-16T17:58:04Z) - Language-Guided Face Animation by Recurrent StyleGAN-based Generator [65.82277526057294]
本研究では,静的顔画像のアニメーション化を目的とした,言語指導型顔画像の新しいタスクについて検討する。
本稿では,言語から一連の意味情報と動作情報を抽出し,学習済みのStyleGANに視覚情報と共に供給し,高品質なフレームを生成するための繰り返し動作生成手法を提案する。
論文 参考訳(メタデータ) (2022-08-11T02:57:30Z) - TEMOS: Generating diverse human motions from textual descriptions [53.85978336198444]
テキスト記述から多種多様な人間の動作を生成するという課題に対処する。
本研究では,人間の動作データを用いた可変オートエンコーダ(VAE)トレーニングを利用したテキスト条件生成モデルTEMOSを提案する。
TEMOSフレームワークは,従来のような骨格に基づくアニメーションと,より表現力のあるSMPLボディモーションの両方を生成可能であることを示す。
論文 参考訳(メタデータ) (2022-04-25T14:53:06Z) - Living Machines: A study of atypical animacy [6.4220844657257725]
我々は19世紀の英語文に基づく非定型アニマシー検出のための最初のデータセットを作成する。
本手法は,言語モデリングにおける最近の革新,特に BERT の文脈化された単語埋め込みを基盤としている。
提案手法は,非典型的アニマシーのより正確なキャラクタリゼーションを提供する。
論文 参考訳(メタデータ) (2020-05-22T12:35:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。