論文の概要: Lagrangian Motion Fields for Long-term Motion Generation

• arxiv url: http://arxiv.org/abs/2409.01522v1
• Date: Tue, 3 Sep 2024 01:38:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 03:21:06.754078
• Title: Lagrangian Motion Fields for Long-term Motion Generation
• Title（参考訳）: 長期運動生成のためのラグランジアン運動場
• Authors: Yifei Yang, Zikai Huang, Chenshu Xu, Shengfeng He,
• Abstract要約: 本稿では,ラグランジアン運動場の概念について紹介する。 各関節を短い間隔で一様速度でラグランジアン粒子として扱うことにより、我々のアプローチは運動表現を一連の「超運動」に凝縮する。 私たちのソリューションは万能で軽量で、ニューラルネットワークの前処理の必要性を排除しています。
• 参考スコア（独自算出の注目度）: 32.548139921363756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-term motion generation is a challenging task that requires producing coherent and realistic sequences over extended durations. Current methods primarily rely on framewise motion representations, which capture only static spatial details and overlook temporal dynamics. This approach leads to significant redundancy across the temporal dimension, complicating the generation of effective long-term motion. To overcome these limitations, we introduce the novel concept of Lagrangian Motion Fields, specifically designed for long-term motion generation. By treating each joint as a Lagrangian particle with uniform velocity over short intervals, our approach condenses motion representations into a series of "supermotions" (analogous to superpixels). This method seamlessly integrates static spatial information with interpretable temporal dynamics, transcending the limitations of existing network architectures and motion sequence content types. Our solution is versatile and lightweight, eliminating the need for neural network preprocessing. Our approach excels in tasks such as long-term music-to-dance generation and text-to-motion generation, offering enhanced efficiency, superior generation quality, and greater diversity compared to existing methods. Additionally, the adaptability of Lagrangian Motion Fields extends to applications like infinite motion looping and fine-grained controlled motion generation, highlighting its broad utility. Video demonstrations are available at \url{https://plyfager.github.io/LaMoG}.
• Abstract（参考訳）: 長期動作生成は、長期にわたって一貫性のある現実的なシーケンスを生成することを必要とする困難なタスクである。 現在の手法は主にフレームワイズ・モーション・表現に依存しており、静的な空間的詳細のみを捉え、時間的ダイナミクスを見落としている。 このアプローチは時間次元にわたって大きな冗長性をもたらし、効果的な長期運動の発生を複雑にする。 これらの制約を克服するため,ラグランジアン運動場(Lagrangian Motion Fields)の概念を導入する。 各関節を短い間隔で均一な速度でラグランジアン粒子として扱うことにより、我々のアプローチは運動表現を一連の「スーパーモーション」(スーパーピクセルに類似)に凝縮する。 本手法は,静的空間情報を解釈可能な時間的ダイナミクスとシームレスに統合し,既存のネットワークアーキテクチャや動作シーケンスの内容の制限を超越する。 私たちのソリューションは万能で軽量で、ニューラルネットワークの前処理の必要性を排除しています。 提案手法は, 長期音楽生成やテキスト・トゥ・モーション生成といったタスクに優れ, 効率の向上, 生成品質の向上, 既存手法に比べて多様性の向上を実現している。 さらに、ラグランジアン運動場の適用性は、無限運動ループやきめ細かい制御された運動生成などの応用にまで拡張され、その幅広い実用性を強調している。 ビデオデモは \url{https://plyfager.github.io/LaMoG} で公開されている。

関連論文リスト

• Loopy: Taming Audio-Driven Portrait Avatar with Long-Term Motion Dependency [15.841490425454344]
  本稿では,Loopy という,エンドツーエンドの音声のみの条件付きビデオ拡散モデルを提案する。 具体的には,ループ内時間モジュールとオーディオ・トゥ・ラテントモジュールを設計し,長期動作情報を活用する。
  論文  参考訳（メタデータ） (2024-09-04T11:55:14Z)
• InfiniMotion: Mamba Boosts Memory in Transformer for Arbitrary Long Motion Generation [31.775481455602634]
  現在の手法では、計算コストが高いため、単一の入力として長い動き列を扱うのに苦労している。 自己回帰フレームワーク内で任意の長さの連続的な動き列を生成する手法であるInfiniMotionを提案する。 約8万フレームの連続した1時間の人間の動きを生成することで、その画期的な能力を強調します。
  論文  参考訳（メタデータ） (2024-07-14T03:12:19Z)
• Infinite Motion: Extended Motion Generation via Long Text Instructions [51.61117351997808]
  『無限運動』は、長文を長文から拡張運動生成に活用する新しいアプローチである。 我々のモデルの主な革新は、任意の長さのテキストを入力として受け入れることである。 テキストのタイムスタンプ設計を取り入れ、生成されたシーケンス内のローカルセグメントの正確な編集を可能にする。
  論文  参考訳（メタデータ） (2024-07-11T12:33:56Z)
• Spectral Motion Alignment for Video Motion Transfer using Diffusion Models [54.32923808964701]
  スペクトル運動アライメント(英: Spectral Motion Alignment、SMA)は、フーリエ変換とウェーブレット変換を用いて運動ベクトルを洗練・整列するフレームワークである。 SMAは周波数領域の正規化を取り入れて動きパターンを学習し、全体フレームのグローバルな動きのダイナミクスの学習を容易にする。 大規模な実験は、様々なビデオカスタマイズフレームワーク間の計算効率と互換性を維持しながら、モーション転送を改善するSMAの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-22T14:47:18Z)
• FineMoGen: Fine-Grained Spatio-Temporal Motion Generation and Editing [56.29102849106382]
  FineMoGenは拡散ベースのモーション生成および編集フレームワークである。 微細な動きを合成し、ユーザの指示に時空間の合成を施す。 FineMoGenはさらに、現代の大規模言語モデルの助けを借りて、ゼロショットモーション編集機能を可能にする。
  論文  参考訳（メタデータ） (2023-12-22T16:56:02Z)
• MotionCrafter: One-Shot Motion Customization of Diffusion Models [66.44642854791807]
  ワンショットのインスタンス誘導モーションカスタマイズ手法であるMotionCrafterを紹介する。 MotionCrafterは、基準運動をベースモデルの時間成分に注入する並列時空間アーキテクチャを採用している。 トレーニング中、凍結ベースモデルは外見の正規化を提供し、運動から効果的に外見を分離する。
  論文  参考訳（メタデータ） (2023-12-08T16:31:04Z)
• DiffusionPhase: Motion Diffusion in Frequency Domain [69.811762407278]
  そこで本研究では,テキスト記述から高品質な人間の動作系列を生成する学習手法を提案する。 既存の技術は、任意の長さの動き列を生成する際に、動きの多様性と滑らかな遷移に苦しむ。 動作空間をコンパクトで表現力のあるパラメータ化位相空間に変換するネットワークエンコーダを開発する。
  論文  参考訳（メタデータ） (2023-12-07T04:39:22Z)
• LaMD: Latent Motion Diffusion for Video Generation [69.4111397077229]
  LaMDフレームワークは、モーション分解されたビデオオートエンコーダと拡散に基づくモーションジェネレータで構成される。 その結果、LaMDはダイナミックスから高度に制御可能な動きに至るまで、幅広い動きを持つ高品質なビデオを生成することがわかった。
  論文  参考訳（メタデータ） (2023-04-23T10:32:32Z)
• Generative Tweening: Long-term Inbetweening of 3D Human Motions [40.16462039509098]
  本稿では,ヒトの動作の長期的包摂を行う,生体力学的に制約された生成的敵ネットワークを提案する。 我々は79種類のキャプチャー・モーション・データをトレーニングし、ネットワークは様々な複雑なモーション・スタイルで頑健に動作した。
  論文  参考訳（メタデータ） (2020-05-18T17:04:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。