論文の概要: ARDY: Autoregressive Diffusion with Hybrid Representation for Interactive Human Motion Generation
- arxiv url: http://arxiv.org/abs/2607.08741v1
- Date: Thu, 09 Jul 2026 17:41:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.614582
- Title: ARDY: Autoregressive Diffusion with Hybrid Representation for Interactive Human Motion Generation
- Title(参考訳): ARDY:対話型モーション生成のためのハイブリッド表現による自己回帰拡散
- Abstract要約: オフラインモーション生成アプローチは、テキストとキネマティック制約による正確な制御を提供するが、対話的な設定に必要な推論速度は欠如している。
本稿では,このギャップを埋めるストリーミング生成フレームワークであるARDYを紹介する。
本研究では,動的テキスト制御,多様なポーズ制約,経路追従,マウスとキーボードによる対話的移動を特徴とするインタラクティブなデモを通じて,ARDYの動作品質と制約の厳密さを実証する。
- 参考スコア(独自算出の注目度): 26.662645657689364
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generating realistic 3D human motions in real-time within interactive applications is key for animation, simulation, and humanoid robotics. While recent offline motion generation approaches offer precise control via text and kinematic constraints, they lack the inference speed required for interactive settings. Conversely, existing online methods enable real-time synthesis but often sacrifice controllability or struggle with complex text semantics and long-horizon goals due to limited context windows. In this work, we introduce ARDY, a streaming generation framework that bridges this gap by enabling high-fidelity motion generation controllable via online text prompts and flexible kinematic constraints. ARDY employs a hybrid representation that combines explicit root features with a latent body embedding, balancing precise trajectory control with efficient generative learning. We propose a two-stage autoregressive transformer denoiser that features variable history context and supports conditioning on flexible, long-horizon kinematic constraints. By training on a large-scale motion capture dataset and being directly conditioned on text labels and kinematic constraints sampled from ground truth poses, ARDY natively learns controllable generation that supports online prompting and flexible long-horizon goals. Extensive evaluations on the HumanML3D benchmark and the large-scale, high-fidelity Bones Rigplay dataset demonstrate ARDY's high motion quality and constraint adherence, validating the efficacy of our key architectural decisions. Finally, we demonstrate the method's practical versatility through an interactive demo featuring dynamic text control, diverse keyframe pose constraints, path following, and interactive locomotion control via mouse and keyboard. Supplementary video results, code, and model releases can be found at https://research.nvidia.com/labs/sil/projects/ardy/.
- Abstract(参考訳): インタラクティブなアプリケーション内でリアルタイムにリアルな3Dモーションを生成することは、アニメーション、シミュレーション、ヒューマノイドロボティクスの鍵となる。
最近のオフラインモーション生成アプローチは、テキストとキネマティック制約による正確な制御を提供するが、インタラクティブな設定に必要な推論速度は欠如している。
逆に、既存のオンライン手法はリアルタイム合成を可能にするが、制限されたコンテキストウィンドウのため、制御性や複雑なテキスト意味論や長期的目標との闘いを犠牲にすることが多い。
本研究では,このギャップを埋めるストリーミング生成フレームワークであるARDYを紹介する。
ARDYは、明示的な根の特徴と潜伏体埋め込みを組み合わせたハイブリッド表現を採用し、正確な軌道制御と効率的な生成学習のバランスをとる。
可変履歴コンテキストを特徴とする2段階自己回帰型変圧器を提案する。
大規模なモーションキャプチャデータセットをトレーニングし、地面の真実のポーズからサンプリングされたテキストラベルやキネマティックな制約を直接条件付けすることで、ARDYはオンラインでのプロンプトとフレキシブルなロングホライゾンゴールをサポートするコントロール可能な世代をネイティブに学習する。
HumanML3Dベンチマークと大規模で高忠実なBones Rigplayデータセットに対する広範囲な評価は、ARDYの高運動品質と制約の順守を示し、重要なアーキテクチャ決定の有効性を検証している。
最後に、動的テキスト制御、多様なキーフレームポーズ制約、経路追従、マウスとキーボードによるインタラクティブな移動制御を備えたインタラクティブなデモを通して、本手法の実用的汎用性を実証する。
追加のビデオ結果、コード、モデルリリースはhttps://research.nvidia.com/labs/sil/projects/ardy/で見ることができる。
関連論文リスト
- SparseCtrl-HOI: Sparse Temporal Control for Human-Object Interaction Video Generation [29.683204938136758]
ヒューマンオブジェクトインタラクション生成は、多様なオブジェクトを操作する現実的な人間を合成することを目的としている。
この問題に対する既存のアプローチは、密集した時間的ガイダンスに依存している。
ビデオ生成のための新しいスパース時間制御フレームワークであるSparseCtrl-HOIを紹介する。
論文 参考訳(メタデータ) (2026-07-07T08:29:25Z) - Directing the World: Fast Autoregressive Video Generation with Compositional Human-Camera Control [56.828569670698975]
デレクシング・ザ・ワールド(Directing the World)は、人体動作とカメラ軌道制御を備えた、制御可能な世界モデルビデオ生成のための高速自動回帰フレームワークである。
私たちのキーとなるアイデアは、前もって統合された自己回帰ビデオを保持しながら、制御学習を分離することです。
人間の動作制御のために、t誘導型動的投射機構と洗練されたモーション-CFG戦略を設計する。
論文 参考訳(メタデータ) (2026-06-26T11:08:09Z) - TEXEDO : Test Time Scaling for Controller-aware Language-conditioned Humanoid Motion Generation [48.72797830886802]
我々はヒューマノイドモーション生成のためのテスト時間スケーリングフレームワークであるTEXEDOを紹介する。
基礎となる強力な発電機を必要とせず、運動の質を向上させる。
追跡忠実度とテキストアライメントの両方を継続的に改善することを示す。
論文 参考訳(メタデータ) (2026-06-22T08:14:35Z) - CLAW: Composable Language-Annotated Whole-body Motion Generation [55.99805728566105]
CLAWは,言語を付加した全身運動データをスケーラブルに生成するためのパイプラインである。
CLAWは運動プランナーから運動プリミティブを構成し、動き、方向、速度、骨盤の高さ、持続時間によってパラメータ化される。
低レベルコントローラは、これらの参照を MuJoCo シミュレーションで追跡し、物理的に接地された軌道を生成する。
論文 参考訳(メタデータ) (2026-04-13T10:02:04Z) - QuadFM: Foundational Text-Driven Quadruped Motion Dataset for Generation and Control [18.78068897227934]
テキスト・トゥ・モーション・ジェネラル・モーション・ジェネラル・モーション・コントロールのための大規模な超高忠実度データセットQuadFMを紹介した。
QuadFMには、ロコモーション、インタラクティブ、感情表現行動にまたがる11,784のキュレートされたモーションクリップが含まれている。
汎用モーションコントローラとテキスト・ツー・モーション・ジェネレータを共同でトレーニングする統合フレームワークであるGen2Control RLを提案する。
論文 参考訳(メタデータ) (2026-03-25T07:30:25Z) - TextOp: Real-time Interactive Text-Driven Humanoid Robot Motion Generation and Control [62.93681680333618]
TextOpはリアルタイムテキスト駆動型ヒューマノイドモーション生成および制御フレームワークである。
ストリーミング言語コマンドと実行中のオンザフライ命令修正をサポートする。
対話型モーション生成を堅牢な全身制御でブリッジすることで、TextOpは自由形式のインテント表現をアンロックする。
論文 参考訳(メタデータ) (2026-02-07T08:42:11Z) - Towards Robust and Controllable Text-to-Motion via Masked Autoregressive Diffusion [33.9786226622757]
テキスト記述から3次元動作を生成するための頑健な動き生成フレームワークMoMADiffを提案する。
我々のモデルはフレキシブルなユーザ提供仕様をサポートし、動き合成の空間的側面と時間的側面の両方を正確に制御できる。
提案手法は, 動作品質, 命令忠実度, 定着度において, 常に最先端のモデルより優れる。
論文 参考訳(メタデータ) (2025-05-16T09:06:15Z) - InterDyn: Controllable Interactive Dynamics with Video Diffusion Models [50.38647583839384]
我々は、初期フレームと駆動対象またはアクターの動作を符号化する制御信号が与えられたインタラクティブな動画像を生成するフレームワークであるInterDynを提案する。
我々の重要な洞察は、大規模なビデオ生成モデルは、大規模ビデオデータからインタラクティブなダイナミクスを学習し、ニューラルと暗黙の物理シミュレーターの両方として機能できるということです。
論文 参考訳(メタデータ) (2024-12-16T13:57:02Z) - Motion Prompting: Controlling Video Generation with Motion Trajectories [57.049252242807874]
スパースもしくは高密度なビデオ軌跡を条件とした映像生成モデルを訓練する。
ハイレベルなユーザリクエストを,詳細なセミセンスな動作プロンプトに変換する。
我々は、カメラや物体の動き制御、画像との「相互作用」、動画転送、画像編集など、様々な応用を通してアプローチを実証する。
論文 参考訳(メタデータ) (2024-12-03T18:59:56Z) - DartControl: A Diffusion-Based Autoregressive Motion Model for Real-Time Text-Driven Motion Control [12.465927271402442]
テキスト条件付きヒューマンモーション生成は、自然言語によるユーザインタラクションを可能にする。
DartControlは、リアルタイムテキスト駆動モーションコントロールのための拡散ベースの自動回帰モーションプリミティブモデルである。
本モデルは,動作履歴とテキスト入力を併用したコンパクトな動き原始空間を効果的に学習する。
論文 参考訳(メタデータ) (2024-10-07T17:58:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。