論文の概要: Generative Motion Infilling From Imprecisely Timed Keyframes

• arxiv url: http://arxiv.org/abs/2503.01016v1
• Date: Sun, 02 Mar 2025 20:54:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:15:24.689175
• Title: Generative Motion Infilling From Imprecisely Timed Keyframes
• Title（参考訳）: 不正確な時間的キーフレームからのジェネレーティブモーションインフィル
• Authors: Purvi Goel, Haotian Zhang, C. Karen Liu, Kayvon Fatahalian,
• Abstract要約: 生成プロセスの一部として制約を繰り返すことができる手法を提案する。 提案手法は,時間的制約を多様かつ現実的な動作に自動的に変換する。
• 参考スコア（独自算出の注目度）: 25.975526850711976
• License:
• Abstract: Keyframes are a standard representation for kinematic motion specification. Recent learned motion-inbetweening methods use keyframes as a way to control generative motion models, and are trained to generate life-like motion that matches the exact poses and timings of input keyframes. However, the quality of generated motion may degrade if the timing of these constraints is not perfectly consistent with the desired motion. Unfortunately, correctly specifying keyframe timings is a tedious and challenging task in practice. Our goal is to create a system that synthesizes high-quality motion from keyframes, even if keyframes are imprecisely timed. We present a method that allows constraints to be retimed as part of the generation process. Specifically, we introduce a novel model architecture that explicitly outputs a time-warping function to correct mistimed keyframes, and spatial residuals that add pose details. We demonstrate how our method can automatically turn approximately timed keyframe constraints into diverse, realistic motions with plausible timing and detailed submovements.
• Abstract（参考訳）: キーフレームは運動運動仕様の標準表現である。 近年の学習された動作間相互作用法は、生成的動きモデルを制御する手段としてキーフレームを使用し、入力されたキーフレームの正確なポーズとタイミングに一致するライフライクな動きを生成するように訓練されている。 しかし、これらの制約のタイミングが所望の運動と完全に一致していない場合、生成された動きの質は低下する。 残念ながら、キーフレームのタイミングを正しく指定するのは、実際には面倒で難しい作業です。 我々のゴールはキーフレームから高品質な動作を合成するシステムを作ることです。 生成プロセスの一部として制約を繰り返すことができる手法を提案する。 具体的には,キーフレームの誤りを正すためにタイムワープ関数を明示的に出力する新しいモデルアーキテクチャと,ポーズの詳細を付加する空間的残差を導入する。 提案手法は, ほぼ時間的鍵フレームの制約を, 時間的制約を多様かつ現実的な動作に自動的に変換する。

関連論文リスト

• Generative Inbetweening through Frame-wise Conditions-Driven Video Generation [63.43583844248389]
  生成的inbetweeningは、2つのキーフレームを入力として利用することで中間フレームシーケンスを生成することを目的としている。 補間ビデオフレームの時間的安定性を著しく向上するフレームワイド・コンディション駆動ビデオ生成法(FCVG)を提案する。 FCVGは線形曲線と非線形曲線の両方を用いて時間的に安定なビデオを生成する能力を示した。
  論文  参考訳（メタデータ） (2024-12-16T13:19:41Z)
• Ada-VE: Training-Free Consistent Video Editing Using Adaptive Motion Prior [13.595032265551184]
  ビデオ間合成は、キャラクタ一貫性の維持、スムーズな時間遷移、高速動作時の視覚的品質の維持において大きな課題となる。 本稿では,冗長計算を選択的に削減する適応型動き誘導型クロスフレームアテンション機構を提案する。 これにより、同じ計算予算内でより多くのフレームにクロスフレームの注意を向けることができる。
  論文  参考訳（メタデータ） (2024-06-07T12:12:25Z)
• Text-guided 3D Human Motion Generation with Keyframe-based Parallel Skip Transformer [62.29951737214263]
  既存のアルゴリズムは、コストがかかりエラーを起こしやすい全シーケンスを直接生成する。 本稿では,入力テキストに対応する人間の動作系列を生成するKeyMotionを提案する。 我々は,自動エンコーダを潜在空間に投影するために,Kullback-Leibler正規化付き変分符号器(VAE)を用いる。 逆拡散のために,デザインラテントとテキスト条件の相互参照を行う新しいパラレルスキップ変換器を提案する。
  論文  参考訳（メタデータ） (2024-05-24T11:12:37Z)
• Flexible Motion In-betweening with Diffusion Models [16.295323675781184]
  比較によって導かれる多様な人間の動きを生成する際の拡散モデルの可能性について検討する。 従来のインベントワイニング法とは異なり、精密かつ多様な動作を生成できる単純な統一モデルを提案する。 テキスト条件付きHumanML3Dデータセット上でのCondMDIの性能を評価する。
  論文  参考訳（メタデータ） (2024-05-17T23:55:51Z)
• Motion In-Betweening with Phase Manifolds [29.673541655825332]
  本稿では,周期的オートエンコーダによって学習された位相変数を利用して,文字のターゲットポーズに到達するための,新たなデータ駆動型動作制御システムを提案する。 提案手法では,経験的ニューラルネットワークモデルを用いて,空間と時間の両方のクラスタの動きを,異なる専門家の重みで解析する。
  論文  参考訳（メタデータ） (2023-08-24T12:56:39Z)
• Continuous Intermediate Token Learning with Implicit Motion Manifold for Keyframe Based Motion Interpolation [20.314332409748637]
  精度に基づく制約で潜在動作を定式化するための新しい枠組みを提案する。 提案手法は,地上の真理運動に優れたデータセットの精度と高い視覚的類似性を実証する。
  論文  参考訳（メタデータ） (2023-03-27T05:53:01Z)
• TTVFI: Learning Trajectory-Aware Transformer for Video Frame Interpolation [50.49396123016185]
  ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを合成することを目的としている。 ビデオフレーム補間用トラジェクトリ対応トランス (TTVFI) を提案する。 提案手法は,4つの広く使用されているVFIベンチマークにおいて,他の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-19T03:37:49Z)
• Render In-between: Motion Guided Video Synthesis for Action Interpolation [53.43607872972194]
  本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。 大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。 私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
  論文  参考訳（メタデータ） (2021-11-01T15:32:51Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• Robust Motion In-betweening [17.473287573543065]
  本稿では,3次元アニメーターのための新しいツールとして機能する,新しい頑健な遷移生成技術を提案する。 このシステムは、時間的にスパーサをアニメーションの制約として使用する高品質な動作を合成する。 私たちは、トレーニングされたモデルを使用して運用シナリオで相互運用を行う、カスタムのMotionBuilderプラグインを紹介します。
  論文  参考訳（メタデータ） (2021-02-09T16:52:45Z)
• Efficient Semantic Video Segmentation with Per-frame Inference [117.97423110566963]
  本研究では,フレームごとの効率的なセマンティックビデオセグメンテーションを推論プロセス中に処理する。 そこで我々は,コンパクトモデルと大規模モデルのパフォーマンスギャップを狭めるために,新しい知識蒸留法を設計した。
  論文  参考訳（メタデータ） (2020-02-26T12:24:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。