論文の概要: InfiniDreamer: Arbitrarily Long Human Motion Generation via Segment Score Distillation

• arxiv url: http://arxiv.org/abs/2411.18303v1
• Date: Wed, 27 Nov 2024 12:51:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:26:31.026817
• Title: InfiniDreamer: Arbitrarily Long Human Motion Generation via Segment Score Distillation
• Title（参考訳）: InfiniDreamer: セグメンションスコア蒸留による任意に長い人間の動作生成
• Authors: Wenjie Zhuo, Fan Ma, Hehe Fan,
• Abstract要約: 我々は、任意に長い人間の動きを生成するための新しい枠組みを提案する。 InfiniDreamerは、各テキスト記述に対応するサブモーションを生成する。 次に、ランダムな遷移セグメントを用いて、それらを粗い拡張シーケンスに組み立てる。
• 参考スコア（独自算出の注目度）: 19.325183843725632
• License:
• Abstract: We present InfiniDreamer, a novel framework for arbitrarily long human motion generation. InfiniDreamer addresses the limitations of current motion generation methods, which are typically restricted to short sequences due to the lack of long motion training data. To achieve this, we first generate sub-motions corresponding to each textual description and then assemble them into a coarse, extended sequence using randomly initialized transition segments. We then introduce an optimization-based method called Segment Score Distillation (SSD) to refine the entire long motion sequence. SSD is designed to utilize an existing motion prior, which is trained only on short clips, in a training-free manner. Specifically, SSD iteratively refines overlapping short segments sampled from the coarsely extended long motion sequence, progressively aligning them with the pre-trained motion diffusion prior. This process ensures local coherence within each segment, while the refined transitions between segments maintain global consistency across the entire sequence. Extensive qualitative and quantitative experiments validate the superiority of our framework, showcasing its ability to generate coherent, contextually aware motion sequences of arbitrary length.
• Abstract（参考訳）: InfiniDreamerは、任意に長い人間の動きを生成するための新しいフレームワークである。 InfiniDreamerは、現在のモーション生成手法の限界に対処する。 そこで我々はまず,各テキスト記述に対応するサブモーションを生成し,それらをランダムに初期化遷移セグメントを用いて粗い拡張シーケンスに組み立てる。 次に,Segment Score Distillation (SSD) と呼ばれる最適化手法を導入し,長動きシーケンス全体を改良する。 SSDは、トレーニング不要の方法で、短いクリップでのみトレーニングされる既存のモーションを利用するように設計されている。 具体的には、SSDは、粗い長い動き列からサンプリングされた短い部分の重なり合いを反復的に洗練し、予め訓練された動き拡散と徐々に整合させる。 このプロセスは各セグメント内の局所的なコヒーレンスを保証するが、セグメント間の洗練された遷移はシーケンス全体のグローバルな一貫性を維持する。 大規模定性的かつ定量的な実験により、フレームワークの優位性を検証し、任意の長さのコヒーレントで文脈的に認識された動き列を生成する能力を示す。

関連論文リスト

• Lagrangian Motion Fields for Long-term Motion Generation [32.548139921363756]
  本稿では,ラグランジアン運動場の概念について紹介する。 各関節を短い間隔で一様速度でラグランジアン粒子として扱うことにより、我々のアプローチは運動表現を一連の「超運動」に凝縮する。 私たちのソリューションは万能で軽量で、ニューラルネットワークの前処理の必要性を排除しています。
  論文  参考訳（メタデータ） (2024-09-03T01:38:06Z)
• Infinite Motion: Extended Motion Generation via Long Text Instructions [51.61117351997808]
  『無限運動』は、長文を長文から拡張運動生成に活用する新しいアプローチである。 我々のモデルの主な革新は、任意の長さのテキストを入力として受け入れることである。 テキストのタイムスタンプ設計を取り入れ、生成されたシーケンス内のローカルセグメントの正確な編集を可能にする。
  論文  参考訳（メタデータ） (2024-07-11T12:33:56Z)
• Seamless Human Motion Composition with Blended Positional Encodings [38.85158088021282]
  後処理や冗長な復調ステップを伴わずにシームレスなヒューマン・モーション・コンポジション(HMC)を生成する最初の拡散モデルであるフローMDMを紹介する。 我々はBabelとHumanML3Dデータセットの精度、リアリズム、スムーズさの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-02-23T18:59:40Z)
• DiffusionPhase: Motion Diffusion in Frequency Domain [69.811762407278]
  そこで本研究では,テキスト記述から高品質な人間の動作系列を生成する学習手法を提案する。 既存の技術は、任意の長さの動き列を生成する際に、動きの多様性と滑らかな遷移に苦しむ。 動作空間をコンパクトで表現力のあるパラメータ化位相空間に変換するネットワークエンコーダを開発する。
  論文  参考訳（メタデータ） (2023-12-07T04:39:22Z)
• Segmenting the motion components of a video: A long-term unsupervised model [5.801044612920816]
  ビデオシーケンス上でのコヒーレントで安定した動作セグメンテーションを提供したいと思っています。 完全教師なし方式で動作する新しい長期光時間モデルを提案する。 4つのVOSに関する実験を報告し、競争力のある定量的結果を示した。
  論文  参考訳（メタデータ） (2023-10-02T09:33:54Z)
• Synthesizing Long-Term Human Motions with Diffusion Models via Coherent Sampling [74.62570964142063]
  テキスト・トゥ・モーション・ジェネレーションは注目されているが、既存の手法のほとんどは短期的な動きに限られている。 本稿では,2つのコヒーレントサンプリング手法を用いた過去の拡散モデルを用いた新しい手法を提案する。 提案手法は,ユーザの指示した長文ストリームによって制御された,構成的かつコヒーレントな3次元人間の動作を生成することができる。
  論文  参考訳（メタデータ） (2023-08-03T16:18:32Z)
• Transform-Equivariant Consistency Learning for Temporal Sentence Grounding [66.10949751429781]
  ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。 私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。 特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
  論文  参考訳（メタデータ） (2023-05-06T19:29:28Z)
• Hierarchical Style-based Networks for Motion Synthesis [150.226137503563]
  本研究では,特定の目標地点を達成するために,長距離・多種多様・多様な行動を生成する自己指導手法を提案する。 提案手法は,長距離生成タスクを階層的に分解することで人間の動作をモデル化する。 大規模な骨格データから, 提案手法は長距離, 多様な, もっともらしい動きを合成できることを示す。
  論文  参考訳（メタデータ） (2020-08-24T02:11:02Z)
• Self-supervised Sparse to Dense Motion Segmentation [13.888344214818737]
  単一ビデオフレームからスパース動作セグメントの密度化を学習するための自己教師付き手法を提案する。 FBMS59 と DAVIS16 でよく知られた動作セグメンテーションデータセットについて検討した。
  論文  参考訳（メタデータ） (2020-08-18T11:40:18Z)
• MS-TCN++: Multi-Stage Temporal Convolutional Network for Action Segmentation [87.16030562892537]
  本稿では,時間的行動分割タスクのための多段階アーキテクチャを提案する。 第1段階は、次の段階によって洗練される初期予測を生成する。 我々のモデルは3つのデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-06-16T14:50:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。