論文の概要: Iterative Motion Editing with Natural Language
- arxiv url: http://arxiv.org/abs/2312.11538v1
- Date: Fri, 15 Dec 2023 22:38:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 18:46:02.182222
- Title: Iterative Motion Editing with Natural Language
- Title(参考訳): 自然言語を用いた反復動作編集
- Authors: Purvi Goel, Kuan-Chieh Wang, C. Karen Liu, Kayvon Fatahalian
- Abstract要約: 本稿では,既存の文字アニメーションに局所的な編集を反復的に指定するために自然言語を用いる手法を提案する。
我々は、既存の言語を利用して、モーション編集のテキスト記述をモーション編集オペレータのシーケンスに変換するアルゴリズムを提案する。
本システムは,アニメーターの編集意図を尊重し,オリジナルアニメーションに忠実であり,リアルなキャラクターアニメーション結果が得られることを実証する。
- 参考スコア(独自算出の注目度): 26.03987547043184
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text-to-motion diffusion models can generate realistic animations from text
prompts, but do not support fine-grained motion editing controls. In this paper
we present a method for using natural language to iteratively specify local
edits to existing character animations, a task that is common in most computer
animation workflows. Our key idea is to represent a space of motion edits using
a set of kinematic motion operators that have well-defined semantics for how to
modify specific frames of a target motion. We provide an algorithm that
leverages pre-existing language models to translate textual descriptions of
motion edits to sequences of motion editing operators (MEOs). Given new
keyframes produced by the MEOs, we use diffusion-based keyframe interpolation
to generate final motions. Through a user study and quantitative evaluation, we
demonstrate that our system can perform motion edits that respect the
animator's editing intent, remain faithful to the original animation (they edit
the original animation, not dramatically change it), and yield realistic
character animation results.
- Abstract(参考訳): テキスト間拡散モデルはテキストプロンプトからリアルなアニメーションを生成することができるが、細かいモーション編集制御はサポートしていない。
本稿では,ほとんどのコンピュータアニメーションワークフローに共通するタスクである,既存のキャラクターアニメーションに対する局所的な編集を反復的に特定するために,自然言語を用いる手法を提案する。
我々のキーとなるアイデアは、目標運動の特定のフレームをどう修正するかのセマンティクスを適切に定義した運動演算子の集合を用いて、運動編集の空間を表現することである。
既存の言語モデルを利用して、動き編集のテキスト記述を、動き編集演算子(meos)のシーケンスに変換するアルゴリズムを提供する。
MEOが生成する新しいキーフレームを考えると、拡散に基づくキーフレーム補間を用いて最終動作を生成する。
ユーザ・スタディと定量的評価により,アニメーターの編集意図を尊重した動画編集を行い,オリジナル・アニメーション(オリジナル・アニメーションを編集し,劇的な変更は行わない)に忠実で,リアルなキャラクタ・アニメーション結果が得られることを実証した。
関連論文リスト
- LivePhoto: Real Image Animation with Text-guided Motion Control [51.31418077586208]
この研究はLivePhotoという名前の実用的なシステムを示し、ユーザーが興味のある画像をテキスト記述でアニメーション化することができる。
まず、よく学習されたテキスト・ツー・イメージ・ジェネレータ(すなわち、安定拡散)がさらに入力として画像を取るのを助ける強力なベースラインを確立する。
次に、時間的モデリングのためのモーションモジュールを改良されたジェネレータに装備し、テキストとモーションのリンクをより良くするための、慎重に設計されたトレーニングパイプラインを提案する。
論文 参考訳(メタデータ) (2023-12-05T17:59:52Z) - MagicStick: Controllable Video Editing via Control Handle
Transformations [109.26314726025097]
MagicStickは、抽出した内部制御信号の変換を利用してビデオプロパティを編集する、制御可能なビデオ編集方法である。
統合フレームワークにおける多数の実例について実験を行った。
また、形状対応テキストベースの編集や手作り動画生成と比較し、従来の作品よりも優れた時間的一貫性と編集能力を示した。
論文 参考訳(メタデータ) (2023-12-05T17:58:06Z) - MotionEditor: Editing Video Motion via Content-Aware Diffusion [96.825431998349]
MotionEditorはビデオモーション編集のための拡散モデルである。
新たなコンテンツ対応モーションアダプタをControlNetに組み込んで、時間的モーション対応をキャプチャする。
論文 参考訳(メタデータ) (2023-11-30T18:59:33Z) - Breathing Life Into Sketches Using Text-to-Video Priors [101.8236605955899]
スケッチは、人間が自分のアイデアを視覚的に伝えるために使う最も直感的で汎用性の高いツールの1つです。
本研究では,単一オブジェクトのスケッチに動きを自動的に付加する手法を提案する。
出力はベクトル表現で提供される短いアニメーションで、簡単に編集できる。
論文 参考訳(メタデータ) (2023-11-21T18:09:30Z) - AnimateAnything: Fine-Grained Open Domain Image Animation with Motion
Guidance [13.416296247896042]
本稿では,映像拡散モデルに先立って動きを利用するオープンドメイン画像アニメーション手法を提案する。
本手法では,移動領域の正確な制御と移動速度を実現するため,目標となる運動領域の誘導と運動強度の誘導を導入する。
オープンドメインデータセットを用いた厳密な実験により,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2023-11-21T03:47:54Z) - MagicProp: Diffusion-based Video Editing via Motion-aware Appearance
Propagation [74.32046206403177]
MagicPropは、ビデオ編集プロセスを、外観編集とモーション対応の外観伝搬という2つのステージに分割する。
第一段階では、MagicPropは入力ビデオから単一のフレームを選択し、フレームの内容やスタイルを変更するために画像編集技術を適用する。
第2段階では、MagicPropは編集されたフレームを外観参照として使用し、自動回帰レンダリングアプローチを使用して残りのフレームを生成する。
論文 参考訳(メタデータ) (2023-09-02T11:13:29Z) - FLAME: Free-form Language-based Motion Synthesis & Editing [17.70085940884357]
FLAMEと呼ばれる拡散型モーション合成・編集モデルを提案する。
FLAMEは、与えられたテキストによく整合した高忠実な動作を生成することができる。
フレームワイドでもジョイントワイドでも、微調整なしで動きの一部を編集できます。
論文 参考訳(メタデータ) (2022-09-01T10:34:57Z) - MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model [35.32967411186489]
MotionDiffuseは拡散モデルに基づくテキスト駆動モーション生成フレームワークである。
複雑なデータ分散をモデル化し、鮮やかなモーションシーケンスを生成するのに優れています。
体の部分のきめ細かい指示に反応し、時間経過したテキストプロンプトで任意の長さのモーション合成を行う。
論文 参考訳(メタデータ) (2022-08-31T17:58:54Z) - A Robust Interactive Facial Animation Editing System [0.0]
直感的な制御パラメータの集合から顔のアニメーションを簡単に編集するための学習に基づく新しいアプローチを提案する。
我々は、制御パラメータを結合係数列にマップする分解能保存完全畳み込みニューラルネットワークを使用している。
提案システムは頑丈で,非専門ユーザからの粗大で誇張された編集を処理できる。
論文 参考訳(メタデータ) (2020-07-18T08:31:02Z) - First Order Motion Model for Image Animation [90.712718329677]
画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。
我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
論文 参考訳(メタデータ) (2020-02-29T07:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。