論文の概要: Continuous Intermediate Token Learning with Implicit Motion Manifold for
Keyframe Based Motion Interpolation
- arxiv url: http://arxiv.org/abs/2303.14926v1
- Date: Mon, 27 Mar 2023 05:53:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 16:57:46.127893
- Title: Continuous Intermediate Token Learning with Implicit Motion Manifold for
Keyframe Based Motion Interpolation
- Title(参考訳): キーフレームに基づく動作補間のためのインシシトモーションマニフォールドを用いた連続中間トークン学習
- Authors: Clinton Ansun Mo, Kun Hu, Chengjiang Long, Zhiyong Wang
- Abstract要約: 精度に基づく制約で潜在動作を定式化するための新しい枠組みを提案する。
提案手法は,地上の真理運動に優れたデータセットの精度と高い視覚的類似性を実証する。
- 参考スコア(独自算出の注目度): 20.314332409748637
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deriving sophisticated 3D motions from sparse keyframes is a particularly
challenging problem, due to continuity and exceptionally skeletal precision.
The action features are often derivable accurately from the full series of
keyframes, and thus, leveraging the global context with transformers has been a
promising data-driven embedding approach. However, existing methods are often
with inputs of interpolated intermediate frame for continuity using basic
interpolation methods with keyframes, which result in a trivial local minimum
during training. In this paper, we propose a novel framework to formulate
latent motion manifolds with keyframe-based constraints, from which the
continuous nature of intermediate token representations is considered.
Particularly, our proposed framework consists of two stages for identifying a
latent motion subspace, i.e., a keyframe encoding stage and an intermediate
token generation stage, and a subsequent motion synthesis stage to extrapolate
and compose motion data from manifolds. Through our extensive experiments
conducted on both the LaFAN1 and CMU Mocap datasets, our proposed method
demonstrates both superior interpolation accuracy and high visual similarity to
ground truth motions.
- Abstract(参考訳): シャープなキーフレームから洗練された3Dモーションを導出することは、連続性と例外的な骨格精度のために特に難しい問題である。
アクション機能は、しばしば一連のキーフレームから正確に導出することができるため、トランスフォーマーでグローバルコンテキストを活用することは、有望なデータ駆動埋め込みアプローチである。
しかし、既存の方法は、キーフレームと基本的な補間法を用いて、連続性のための補間中間フレームの入力を伴うことが多い。
本稿では,鍵フレームに基づく制約付き潜在運動多様体を定式化するための新しい枠組みを提案する。
特に,提案手法は,潜在運動部分空間,すなわちキーフレーム符号化ステージと中間トークン生成ステージとを識別する2つの段階と,多様体から動きデータを外挿して構成するその後の動き合成ステージとからなる。
提案手法は,LaFAN1 と CMU Mocap の双方で実施した広範囲な実験を通じて,より優れた補間精度と地上の真理運動との視覚的類似性を実証する。
関連論文リスト
- Motion-Aware Video Frame Interpolation [49.49668436390514]
我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。
受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
論文 参考訳(メタデータ) (2024-02-05T11:00:14Z) - Shuffled Autoregression For Motion Interpolation [53.61556200049156]
この作業は、モーションタスクのためのディープラーニングソリューションを提供することを目的としている。
本稿では,自己回帰を任意の(シャッフルされた)順序で生成するために拡張する,emphShuffled AutoRegressionと呼ばれる新しいフレームワークを提案する。
また,3つのステージを終端から終端の時空間運動変換器に組み込んだ依存グラフの構築手法を提案する。
論文 参考訳(メタデータ) (2023-06-10T07:14:59Z) - Meta-Interpolation: Time-Arbitrary Frame Interpolation via Dual
Meta-Learning [65.85319901760478]
我々はメタ学習の助けを借りて、適応的に生成された畳み込みカーネルで異なる時間ステップを統一的に処理することを検討する。
我々は、コンテキスト情報と光フローのガイダンスを用いて、中間フレームを合成するデュアルメタ学習フレームフレームワークを開発した。
論文 参考訳(メタデータ) (2022-07-27T17:36:23Z) - TTVFI: Learning Trajectory-Aware Transformer for Video Frame
Interpolation [50.49396123016185]
ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを合成することを目的としている。
ビデオフレーム補間用トラジェクトリ対応トランス (TTVFI) を提案する。
提案手法は,4つの広く使用されているVFIベンチマークにおいて,他の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2022-07-19T03:37:49Z) - Long-term Video Frame Interpolation via Feature Propagation [95.18170372022703]
ビデオフレーム(VFI)は、まず入力間の動きを推定し、次に推定された動きで入力を目標時間にワープすることで、中間フレーム(s)を予測する。
入力シーケンス間の時間的距離が増加すると、このアプローチは最適ではない。
本稿では,従来の特徴レベルの予測を新しいモーション・トゥ・フェース・アプローチで拡張した伝搬ネットワーク(PNet)を提案する。
論文 参考訳(メタデータ) (2022-03-29T10:47:06Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳(メタデータ) (2021-06-14T10:33:47Z) - Video Frame Interpolation via Structure-Motion based Iterative Fusion [19.499969588931414]
映像フレーム補間のための構造運動に基づく反復融合法を提案する。
観客が前景や背景の物体に対して異なる視覚的嗜好を持つという観察に触発されて,私たちは初めて,映像フレーム補間作業の評価プロセスにサリエンシマスクを使うことを提案する。
論文 参考訳(メタデータ) (2021-05-11T22:11:17Z) - Video Frame Interpolation via Generalized Deformable Convolution [18.357839820102683]
ビデオフレームは、空間的および時間的コンピテンシーを維持しながら、近くのソースフレームから中間フレームを合成することを目的としている。
既存のディープラーニングベースのビデオフレーム手法は、フローベースの方法とカーネルベースの方法の2つのカテゴリに分けられる。
データ駆動方式で動きを効果的に学習し、時空のサンプリングポイントを自由に選択できる汎用変形型畳み込み機構が提案されている。
論文 参考訳(メタデータ) (2020-08-24T20:00:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。