論文の概要: Robust Motion In-betweening
- arxiv url: http://arxiv.org/abs/2102.04942v1
- Date: Tue, 9 Feb 2021 16:52:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-10 19:13:31.490134
- Title: Robust Motion In-betweening
- Title(参考訳): ロバストな間隙運動
- Authors: F\'elix G. Harvey, Mike Yurick, Derek Nowrouzezahrai, Christopher Pal
- Abstract要約: 本稿では,3次元アニメーターのための新しいツールとして機能する,新しい頑健な遷移生成技術を提案する。
このシステムは、時間的にスパーサをアニメーションの制約として使用する高品質な動作を合成する。
私たちは、トレーニングされたモデルを使用して運用シナリオで相互運用を行う、カスタムのMotionBuilderプラグインを紹介します。
- 参考スコア(独自算出の注目度): 17.473287573543065
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In this work we present a novel, robust transition generation technique that
can serve as a new tool for 3D animators, based on adversarial recurrent neural
networks. The system synthesizes high-quality motions that use
temporally-sparse keyframes as animation constraints. This is reminiscent of
the job of in-betweening in traditional animation pipelines, in which an
animator draws motion frames between provided keyframes. We first show that a
state-of-the-art motion prediction model cannot be easily converted into a
robust transition generator when only adding conditioning information about
future keyframes. To solve this problem, we then propose two novel additive
embedding modifiers that are applied at each timestep to latent representations
encoded inside the network's architecture. One modifier is a time-to-arrival
embedding that allows variations of the transition length with a single model.
The other is a scheduled target noise vector that allows the system to be
robust to target distortions and to sample different transitions given fixed
keyframes. To qualitatively evaluate our method, we present a custom
MotionBuilder plugin that uses our trained model to perform in-betweening in
production scenarios. To quantitatively evaluate performance on transitions and
generalizations to longer time horizons, we present well-defined in-betweening
benchmarks on a subset of the widely used Human3.6M dataset and on LaFAN1, a
novel high quality motion capture dataset that is more appropriate for
transition generation. We are releasing this new dataset along with this work,
with accompanying code for reproducing our baseline results.
- Abstract(参考訳): 本研究では,3次元アニメーターの新しいツールとして,対向的リカレントニューラルネットワークをベースとした,新しい頑健な遷移生成手法を提案する。
このシステムは、時間的に疎いキーフレームをアニメーションの制約として使用する高品質なモーションを合成する。
これは、アニメーターが提供されたキーフレーム間でモーションフレームを描画する、従来のアニメーションパイプラインの中間処理を思い出させる。
まず,将来のキーフレームの条件付け情報のみを付加した場合に,最先端の動作予測モデルをロバストな遷移生成器に容易に変換できないことを示す。
そこで本研究では,ネットワークアーキテクチャ内にエンコードされた遅延表現に対して,各ステップで適用される2つの新規な付加埋め込み修飾子を提案する。
1つの修飾子は、単一のモデルで遷移長のバリエーションを可能にする時間から時間への埋め込みである。
もうひとつは、スケジュールされたターゲットノイズベクトルで、システムは歪みをターゲットとし、固定されたキーフレームの異なる遷移をサンプリングすることができる。
本手法を定性的に評価するために,当社のトレーニングモデルを用いて実運用シナリオで相互接続を行うカスタムモーションビルダプラグインを提案する。
より長い時間的地平線への遷移と一般化のパフォーマンスを定量的に評価するために、広く使われているHuman3.6Mデータセットのサブセットと、遷移生成により適した新しい高品質なモーションキャプチャデータセットLaFAN1上で、よく定義された中間ベンチマークを示す。
この新しいデータセットは、この作業とともに、ベースライン結果を再現するためのコードとともにリリースしています。
関連論文リスト
- MOVIN: Real-time Motion Capture using a Single LiDAR [7.3228874258537875]
我々は,グローバルトラッキングを用いたリアルタイムモーションキャプチャのためのデータ駆動生成法MOVINを提案する。
本フレームワークは,パフォーマーの3次元グローバル情報と局所的な関節の詳細を正確に予測する。
実世界のシナリオでメソッドをデモするために,リアルタイムアプリケーションを実装した。
論文 参考訳(メタデータ) (2023-09-17T16:04:15Z) - Motion In-Betweening with Phase Manifolds [29.673541655825332]
本稿では,周期的オートエンコーダによって学習された位相変数を利用して,文字のターゲットポーズに到達するための,新たなデータ駆動型動作制御システムを提案する。
提案手法では,経験的ニューラルネットワークモデルを用いて,空間と時間の両方のクラスタの動きを,異なる専門家の重みで解析する。
論文 参考訳(メタデータ) (2023-08-24T12:56:39Z) - STMT: A Spatial-Temporal Mesh Transformer for MoCap-Based Action
Recognition [66.96931254510544]
本研究では、モーションキャプチャー(MoCap)シーケンスを用いた人間の行動認識の問題点について検討する。
メッシュシーケンスを直接モデル化する新しい時空間メッシュ変換器(STMT)を提案する。
提案手法は,スケルトンベースモデルやポイントクラウドベースモデルと比較して,最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-03-31T16:19:27Z) - You Can Ground Earlier than See: An Effective and Efficient Pipeline for
Temporal Sentence Grounding in Compressed Videos [56.676761067861236]
ビデオがトリミングされていない場合、時間的文のグラウンド化は、文問合せに従って目的のモーメントを意味的に見つけることを目的としている。
それまでの優れた作品は、かなり成功したが、それらはデコードされたフレームから抽出されたハイレベルな視覚的特徴にのみ焦点を当てている。
本稿では,圧縮された映像を直接視覚入力として利用する,圧縮された領域のTSGを提案する。
論文 参考訳(メタデータ) (2023-03-14T12:53:27Z) - A new way of video compression via forward-referencing using deep
learning [0.0]
本稿では,すでに符号化されたフレームから人間のポーズをモデル化し,新しい映像符号化手法を提案する。
提案手法は,従来の後方参照フレームの限界を克服できると考えられる。
実験結果から,提案手法は最大2.83dBのPSNRゲインと25.93%の残留保存をハイモーションビデオシーケンスに適用できることがわかった。
論文 参考訳(メタデータ) (2022-08-13T16:19:11Z) - Real-time Controllable Motion Transition for Characters [14.88407656218885]
リアルタイムの動作生成はゲームでは普遍的に必要であり、既存のアニメーションパイプラインでは非常に望ましい。
我々のアプローチは、運動多様体と条件遷移という2つの重要な構成要素から構成される。
提案手法は,複数の測定基準の下で測定された高品質な動きを生成できることを示す。
論文 参考訳(メタデータ) (2022-05-05T10:02:54Z) - Long-term Video Frame Interpolation via Feature Propagation [95.18170372022703]
ビデオフレーム(VFI)は、まず入力間の動きを推定し、次に推定された動きで入力を目標時間にワープすることで、中間フレーム(s)を予測する。
入力シーケンス間の時間的距離が増加すると、このアプローチは最適ではない。
本稿では,従来の特徴レベルの予測を新しいモーション・トゥ・フェース・アプローチで拡張した伝搬ネットワーク(PNet)を提案する。
論文 参考訳(メタデータ) (2022-03-29T10:47:06Z) - AniFormer: Data-driven 3D Animation with Transformer [95.45760189583181]
そこで本研究では,ターゲット3Dオブジェクトを原駆動シーケンスの動作によってアニメーションする,新しいタスクを提案する。
AniFormerは、生の駆動シーケンスと任意の同じタイプのターゲットメッシュを直接入力として取り込んでアニメーション3Dシーケンスを生成する。
我々のAniFormerは、様々なカテゴリのベンチマークにおいて、高忠実で、現実的で、時間的に一貫性のあるアニメーション結果を実現し、最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2021-10-20T12:36:55Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳(メタデータ) (2021-06-14T10:33:47Z) - Motion-Attentive Transition for Zero-Shot Video Object Segmentation [99.44383412488703]
ゼロショットオブジェクトセグメンテーションのためのモーション・アテンタティブ・トランジション・ネットワーク(MATNet)を提案する。
モーション・アテンティブ・トランジション (MAT) と呼ばれる非対称のアテンションブロックは、2ストリームエンコーダ内に設計されている。
このように、エンコーダは深く相互に作用し、物体の動きと外観の間の密な階層的な相互作用を可能にする。
論文 参考訳(メタデータ) (2020-03-09T16:58:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。