論文の概要: From Sparse Signal to Smooth Motion: Real-Time Motion Generation with Rolling Prediction Models

• arxiv url: http://arxiv.org/abs/2504.05265v1
• Date: Mon, 07 Apr 2025 17:00:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:10:55.079477
• Title: From Sparse Signal to Smooth Motion: Real-Time Motion Generation with Rolling Prediction Models
• Title（参考訳）: スパース信号から平滑運動へ:圧延予測モデルを用いた実時間運動生成
• Authors: German Barquero, Nadine Bertsch, Manojkumar Marramreddy, Carlos Chacón, Filippo Arcadu, Ferran Rigual, Nicky Sijia He, Cristina Palmero, Sergio Escalera, Yuting Ye, Robin Kips,
• Abstract要約: ローリング予測モデル(RPM)は、時間的および空間的にスパースな入力信号からスムーズな全体運動を生成する。 GORPは、商用バーチャルリアリティ(VR)ヘッドセットから、高品質なボディモーショングラウンドの真実をペアにした、初めての、現実的なスパース入力のデータセットである。
• 参考スコア（独自算出の注目度）: 27.48705623289199
• License:
• Abstract: In extended reality (XR), generating full-body motion of the users is important to understand their actions, drive their virtual avatars for social interaction, and convey a realistic sense of presence. While prior works focused on spatially sparse and always-on input signals from motion controllers, many XR applications opt for vision-based hand tracking for reduced user friction and better immersion. Compared to controllers, hand tracking signals are less accurate and can even be missing for an extended period of time. To handle such unreliable inputs, we present Rolling Prediction Model (RPM), an online and real-time approach that generates smooth full-body motion from temporally and spatially sparse input signals. Our model generates 1) accurate motion that matches the inputs (i.e., tracking mode) and 2) plausible motion when inputs are missing (i.e., synthesis mode). More importantly, RPM generates seamless transitions from tracking to synthesis, and vice versa. To demonstrate the practical importance of handling noisy and missing inputs, we present GORP, the first dataset of realistic sparse inputs from a commercial virtual reality (VR) headset with paired high quality body motion ground truth. GORP provides >14 hours of VR gameplay data from 28 people using motion controllers (spatially sparse) and hand tracking (spatially and temporally sparse). We benchmark RPM against the state of the art on both synthetic data and GORP to highlight how we can bridge the gap for real-world applications with a realistic dataset and by handling unreliable input signals. Our code, pretrained models, and GORP dataset are available in the project webpage.
• Abstract（参考訳）: 拡張現実(XR)では、ユーザのフルボディ動作の生成は、行動を理解し、仮想アバターをソーシャルな相互作用のために駆動し、現実的な存在感を伝えることが重要である。 以前の作業では、モーションコントローラからの空間的にスパースで常時オンの入力信号に焦点が当てられていたが、多くのXRアプリケーションは、視覚に基づく手の動き追跡を選択して、ユーザの摩擦を減らし、没入性が向上した。 コントローラーと比較すると、手の動き追跡信号の精度は低く、長時間欠落することもある。 このような信頼できない入力に対処するために、オンラインおよびリアルタイムに、時間的および空間的にスパースな入力信号からスムーズなフルボディ動作を生成するローリング予測モデル(RPM)を提案する。 私たちのモデルが生成します 1)入力(つまり追跡モード)と一致した正確な動き 2)入力が欠落しているときの可塑性運動(合成モード)。 さらに重要なのは、RPMはトラッキングから合成へのシームレスな遷移を生成します。 ノイズや欠落した入力を扱うことの実践的重要性を示すために,商用バーチャルリアリティ(VR)ヘッドセットから,高品質なボディモーショングラウンド真理を組み込んだ最初の現実的なスパース入力データセットであるGORPを提案する。 GORPは、モーションコントローラ(親しみやすい)とハンドトラッキング(親しみやすい、時間的に疎い)を使用して、28人のVRゲームプレイデータを14時間以内に提供します。 我々はRPMを合成データとGORPの両方の最先端技術と比較し、現実的なデータセットで現実のアプリケーションのギャップを埋める方法と、信頼性の低い入力信号を扱う方法を強調した。 私たちのコード、事前トレーニングされたモデル、GORPデータセットはプロジェクトのWebページで利用可能です。

関連論文リスト

• DivaTrack: Diverse Bodies and Motions from Acceleration-Enhanced Three-Point Trackers [13.258923087528354]
  フルボディアバターの存在は、デジタルリアリティーにおける没入型社会と環境の相互作用に不可欠である。 現在のデバイスは、ヘッドセットと2つのコントローラーから3度の自由度(DOF)のポーズしか提供していない。 本研究では,多様な身体サイズや活動に適用した場合に,既存の手法よりも優れたディープラーニングフレームワークであるDivaTrackを提案する。
  論文  参考訳（メタデータ） (2024-02-14T14:46:03Z)
• Social-Transmotion: Promptable Human Trajectory Prediction [65.80068316170613]
  Social-Transmotionは、多種多様な視覚的手がかりを利用して人間の行動を予測する、汎用トランスフォーマーベースのモデルである。 提案手法は,JTA,JRDB,歩行者,道路交通のサイクリスト,ETH-UCYなど,複数のデータセットで検証されている。
  論文  参考訳（メタデータ） (2023-12-26T18:56:49Z)
• Physics-based Motion Retargeting from Sparse Inputs [73.94570049637717]
  商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。 本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。 アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
  論文  参考訳（メタデータ） (2023-07-04T21:57:05Z)
• QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse Sensors [69.75711933065378]
  ヘッドセットとコントローラーのポーズは,高度に制約された環境においても,現実的なフルボディのポーズを生成可能であることを示す。 本稿では,環境表現,接触報酬,シーンランダム化の3つの特徴について論じる。
  論文  参考訳（メタデータ） (2023-06-09T04:40:38Z)
• Avatars Grow Legs: Generating Smooth Human Motion from Sparse Tracking Inputs with Diffusion Model [18.139630622759636]
  本稿では,低速な上体追跡信号のフルボディ追跡に特化して設計された新しい条件拡散モデル AGRoL を提案する。 我々のモデルは、シンプルな多層パーセプトロン(MLP)アーキテクチャと、モーションデータのための新しい条件付け方式に基づいている。 一般的な拡散アーキテクチャとは異なり、私たちのコンパクトアーキテクチャはリアルタイムで動作し、オンラインのボディトラッキングアプリケーションに適している。
  論文  参考訳（メタデータ） (2023-04-17T19:35:13Z)
• QuestSim: Human Motion Tracking from Sparse Sensors with Simulated Avatars [80.05743236282564]
  人間の身体の動きのリアルタイム追跡は、AR/VRにおける没入感のある体験に不可欠である。 本稿では,HMDと2つのコントローラから疎信号を取り出す強化学習フレームワークを提案する。 一つのポリシーは、多様な移動スタイル、異なる体の大きさ、新しい環境に対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-09-20T00:25:54Z)
• AvatarPoser: Articulated Full-Body Pose Tracking from Sparse Motion Sensing [24.053096294334694]
  AvatarPoserは、ユーザの頭と手の動きのみを入力として、世界座標におけるフルボディポーズを予測する最初の学習ベースの方法である。 提案手法はTransformerエンコーダ上に構築され,入力信号から深い特徴を抽出し,学習した局所的な関節方向からグローバルな動きを分離する。 我々の評価では、AvatarPoserは大規模なモーションキャプチャーデータセットの評価において、新しい最先端の結果を得た。
  論文  参考訳（メタデータ） (2022-07-27T20:52:39Z)
• Real-time Object Detection for Streaming Perception [84.2559631820007]
  ストリーミング知覚は,ビデオオンライン知覚の1つの指標として,レイテンシと精度を共同評価するために提案される。 ストリーミング知覚のためのシンプルで効果的なフレームワークを構築します。 提案手法はArgoverse-HDデータセット上での競合性能を実現し,強力なベースラインに比べてAPを4.9%向上させる。
  論文  参考訳（メタデータ） (2022-03-23T11:33:27Z)
• DriveGAN: Towards a Controllable High-Quality Neural Simulation [147.6822288981004]
  DriveGANと呼ばれる新しい高品質のニューラルシミュレータを紹介します。 DriveGANは、異なるコンポーネントを監督なしで切り離すことによって制御性を達成する。 実世界の運転データ160時間を含む複数のデータセットでdriveganをトレーニングします。
  論文  参考訳（メタデータ） (2021-04-30T15:30:05Z)
• Yet it moves: Learning from Generic Motions to Generate IMU data from YouTube videos [5.008235182488304]
  我々は、加速度計とジャイロ信号の両方の一般的な動きの回帰モデルをトレーニングして、合成IMUデータを生成する方法を示す。 我々は、回帰モデルにより生成されたシミュレーションデータに基づいてトレーニングされたシステムが、実センサデータに基づいてトレーニングされたシステムのF1スコアの平均の約10%に到達できることを実証した。
  論文  参考訳（メタデータ） (2020-11-23T18:16:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。