論文の概要: Iterative Motion Editing with Natural Language

• arxiv url: http://arxiv.org/abs/2312.11538v2
• Date: Mon, 3 Jun 2024 14:42:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 19:52:07.797619
• Title: Iterative Motion Editing with Natural Language
• Title（参考訳）: 自然言語による反復的な運動編集
• Authors: Purvi Goel, Kuan-Chieh Wang, C. Karen Liu, Kayvon Fatahalian,
• Abstract要約: テキスト間拡散モデルはテキストプロンプトからリアルなアニメーションを生成することができるが、微粒なモーション編集制御はサポートしていない。 本稿では,既存の文字アニメーションに局所的な編集を反復的に指定するために自然言語を用いる手法を提案する。 本システムは,アニメーターの編集意図を尊重する動作編集を行い,オリジナルアニメーションに忠実であり,リアルなキャラクターアニメーション結果が得られる。
• 参考スコア（独自算出の注目度）: 23.836693717924845
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-motion diffusion models can generate realistic animations from text prompts, but do not support fine-grained motion editing controls. In this paper, we present a method for using natural language to iteratively specify local edits to existing character animations, a task that is common in most computer animation workflows. Our key idea is to represent a space of motion edits using a set of kinematic motion editing operators (MEOs) whose effects on the source motion is well-aligned with user expectations. We provide an algorithm that leverages pre-existing language models to translate textual descriptions of motion edits into source code for programs that define and execute sequences of MEOs on a source animation. We execute MEOs by first translating them into keyframe constraints, and then use diffusion-based motion models to generate output motions that respect these constraints. Through a user study and quantitative evaluation, we demonstrate that our system can perform motion edits that respect the animator's editing intent, remain faithful to the original animation (it edits the original animation, but does not dramatically change it), and yield realistic character animation results.
• Abstract（参考訳）: テキスト間拡散モデルはテキストプロンプトからリアルなアニメーションを生成することができるが、微粒なモーション編集制御はサポートしていない。 本稿では,ほとんどのコンピュータアニメーションワークフローに共通するタスクである,既存のキャラクターアニメーションに対する局所的な編集を反復的に特定するために自然言語を使用する手法を提案する。 我々のキーとなるアイデアは、動きの空間を運動運動編集オペレーター(MEOs)のセットで表現することであり、その動きがユーザの期待に合致する。 我々は、既存の言語モデルを利用して、動き編集のテキスト記述をソースコードに翻訳し、ソースアニメーション上でMEOのシーケンスを定義し実行するアルゴリズムを提案する。 まずそれらをキーフレームの制約に翻訳し、拡散に基づく運動モデルを用いてこれらの制約を尊重する出力運動を生成する。 ユーザスタディと定量的評価により,本システムはアニメーションの編集意図を尊重し,オリジナルアニメーションに忠実な動作(オリジナルアニメーションは編集するが,劇的には変更しない)を行うことができ,リアルなキャラクターアニメーション結果が得られることを示した。

関連論文リスト

• MotionFollower: Editing Video Motion via Lightweight Score-Guided Diffusion [94.66090422753126]
  MotionFollowerは、ビデオモーション編集のための軽量なスコア誘導拡散モデルである。 優れたモーション編集性能を提供し、大きなカメラの動きとアクションのみをサポートする。 最新のモーション編集モデルであるMotionEditorと比較して、MotionFollowerはGPUメモリの約80%の削減を実現している。
  論文  参考訳（メタデータ） (2024-05-30T17:57:30Z)
• AniClipart: Clipart Animation with Text-to-Video Priors [28.76809141136148]
  AniClipartは、静的な画像をテキストからビデオへの事前案内による高品質なモーションシーケンスに変換するシステムである。 実験結果から,提案したAniClipartは既存の画像・映像生成モデルより一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2024-04-18T17:24:28Z)
• Dynamic Typography: Bringing Text to Life via Video Diffusion Prior [73.72522617586593]
  動的タイポグラフィー(Dynamic Typography)と呼ばれる自動テキストアニメーション方式を提案する。 意味的意味を伝えるために文字を変形させ、ユーザプロンプトに基づいて活気ある動きを注入する。 本手法は,ベクトルグラフィックス表現とエンドツーエンド最適化に基づくフレームワークを利用する。
  論文  参考訳（メタデータ） (2024-04-17T17:59:55Z)
• LivePhoto: Real Image Animation with Text-guided Motion Control [51.31418077586208]
  この研究はLivePhotoという名前の実用的なシステムを示し、ユーザーが興味のある画像をテキスト記述でアニメーション化することができる。 まず、よく学習されたテキスト・ツー・イメージ・ジェネレータ(すなわち、安定拡散)がさらに入力として画像を取るのを助ける強力なベースラインを確立する。 次に、時間的モデリングのためのモーションモジュールを改良されたジェネレータに装備し、テキストとモーションのリンクをより良くするための、慎重に設計されたトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-12-05T17:59:52Z)
• MotionEditor: Editing Video Motion via Content-Aware Diffusion [96.825431998349]
  MotionEditorはビデオモーション編集のための拡散モデルである。 新たなコンテンツ対応モーションアダプタをControlNetに組み込んで、時間的モーション対応をキャプチャする。
  論文  参考訳（メタデータ） (2023-11-30T18:59:33Z)
• Breathing Life Into Sketches Using Text-to-Video Priors [101.8236605955899]
  スケッチは、人間が自分のアイデアを視覚的に伝えるために使う最も直感的で汎用性の高いツールの1つです。 本研究では,単一オブジェクトのスケッチに動きを自動的に付加する手法を提案する。 出力はベクトル表現で提供される短いアニメーションで、簡単に編集できる。
  論文  参考訳（メタデータ） (2023-11-21T18:09:30Z)
• AnimateAnything: Fine-Grained Open Domain Image Animation with Motion Guidance [13.416296247896042]
  本稿では,映像拡散モデルに先立って動きを利用するオープンドメイン画像アニメーション手法を提案する。 本手法では,移動領域の正確な制御と移動速度を実現するため,目標となる運動領域の誘導と運動強度の誘導を導入する。 オープンドメインデータセットを用いた厳密な実験により,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-11-21T03:47:54Z)
• Real-time Animation Generation and Control on Rigged Models via Large Language Models [50.034712575541434]
  本稿では,自然言語入力を用いたリップモデル上でのリアルタイムアニメーション制御と生成のための新しい手法を提案する。 大規模言語モデル(LLM)をUnityに組み込んで構造化テキストを出力し、多種多様なリアルなアニメーションに解析する。
  論文  参考訳（メタデータ） (2023-10-27T01:36:35Z)
• FLAME: Free-form Language-based Motion Synthesis & Editing [17.70085940884357]
  FLAMEと呼ばれる拡散型モーション合成・編集モデルを提案する。 FLAMEは、与えられたテキストによく整合した高忠実な動作を生成することができる。 フレームワイドでもジョイントワイドでも、微調整なしで動きの一部を編集できます。
  論文  参考訳（メタデータ） (2022-09-01T10:34:57Z)
• A Robust Interactive Facial Animation Editing System [0.0]
  直感的な制御パラメータの集合から顔のアニメーションを簡単に編集するための学習に基づく新しいアプローチを提案する。 我々は、制御パラメータを結合係数列にマップする分解能保存完全畳み込みニューラルネットワークを使用している。 提案システムは頑丈で,非専門ユーザからの粗大で誇張された編集を処理できる。
  論文  参考訳（メタデータ） (2020-07-18T08:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。