論文の概要: ELMO: Enhanced Real-time LiDAR Motion Capture through Upsampling
- arxiv url: http://arxiv.org/abs/2410.06963v1
- Date: Fri, 11 Oct 2024 14:12:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-31 23:17:38.073338
- Title: ELMO: Enhanced Real-time LiDAR Motion Capture through Upsampling
- Title（参考訳）: ELMO:アップサンプリングによるリアルタイムLiDARモーションキャプチャ
- Authors: Deok-Kyeong Jang, Dongseok Yang, Deok-Yun Jang, Byeoli Choi, Donghoon Shin, Sung-hee Lee,
- Abstract要約: 本稿では,単一LiDARセンサ用に設計されたリアルタイムアップサンプリングモーションキャプチャフレームワークELMOを紹介する。
ELMOは、条件付き自己回帰変換器ベースのアップサンプリングモーションジェネレータとしてモデル化され、20fpsのLiDARポイントクラウドシーケンスから60fpsのモーションキャプチャを実現する。
- 参考スコア（独自算出の注目度）: 12.832526520548855
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper introduces ELMO, a real-time upsampling motion capture framework designed for a single LiDAR sensor. Modeled as a conditional autoregressive transformer-based upsampling motion generator, ELMO achieves 60 fps motion capture from a 20 fps LiDAR point cloud sequence. The key feature of ELMO is the coupling of the self-attention mechanism with thoughtfully designed embedding modules for motion and point clouds, significantly elevating the motion quality. To facilitate accurate motion capture, we develop a one-time skeleton calibration model capable of predicting user skeleton offsets from a single-frame point cloud. Additionally, we introduce a novel data augmentation technique utilizing a LiDAR simulator, which enhances global root tracking to improve environmental understanding. To demonstrate the effectiveness of our method, we compare ELMO with state-of-the-art methods in both image-based and point cloud-based motion capture. We further conduct an ablation study to validate our design principles. ELMO's fast inference time makes it well-suited for real-time applications, exemplified in our demo video featuring live streaming and interactive gaming scenarios. Furthermore, we contribute a high-quality LiDAR-mocap synchronized dataset comprising 20 different subjects performing a range of motions, which can serve as a valuable resource for future research. The dataset and evaluation code are available at {\blue \url{https://movin3d.github.io/ELMO_SIGASIA2024/}}
- Abstract（参考訳）: 本稿では,単一LiDARセンサ用に設計されたリアルタイムアップサンプリングモーションキャプチャフレームワークELMOを紹介する。
ELMOは、条件付き自己回帰変換器ベースのアップサンプリングモーションジェネレータとしてモデル化され、20fpsのLiDARポイントクラウドシーケンスから60fpsのモーションキャプチャを実現する。
ELMOの鍵となる特徴は、自覚機構と、運動と点雲のための慎重に設計された埋め込みモジュールとの結合であり、運動の質を著しく高めていることである。
高精度なモーションキャプチャを実現するため,単一フレーム点雲からのユーザの骨格オフセットを予測可能な1時間スケルトンキャリブレーションモデルを開発した。
さらに,LDARシミュレータを用いた新しいデータ拡張手法を導入し,グローバルなルート追跡を強化し,環境理解を向上させる。
提案手法の有効性を示すため,ELMOと画像ベースと点クラウドベースのモーションキャプチャにおける最先端の手法を比較した。
設計原則を検証するために、さらにアブレーション研究を行います。
ELMOの高速推論時間はリアルタイムアプリケーションに適しており、ライブストリーミングとインタラクティブなゲームシナリオを備えたデモビデオで例示されています。
さらに,20種類の被験者を対象とする高品質なLiDARモキャップ同期データセットの提供も行い,今後の研究に有用な資料となる。
データセットと評価コードは {\blue \url{https://movin3d.github.io/ELMO_SIGASIA2024/}} で公開されている。
関連論文リスト
- LiDAR-GS:Real-time LiDAR Re-Simulation using Gaussian Splatting [50.808933338389686]
LiDARシミュレーションは、自動運転におけるクローズドループシミュレーションにおいて重要な役割を果たす。
都市景観におけるLiDARセンサスキャンをリアルタイムに再現するために,最初のLiDARガウス法であるLiDAR-GSを提案する。
我々の手法は、深度、強度、レイドロップチャンネルを同時に再現することに成功し、公開可能な大規模シーンデータセットにおけるフレームレートと品質の両方のレンダリング結果を達成する。
論文 参考訳（メタデータ） (2024-10-07T15:07:56Z) - Shape Conditioned Human Motion Generation with Diffusion Model [0.0]
本研究では,メッシュ形式での運動系列生成を可能にする形状条件付き運動拡散モデル(SMD)を提案する。
また、スペクトル領域内の時間的依存関係を活用するためのスペクトル・テンポラルオートエンコーダ(STAE)を提案する。
論文 参考訳（メタデータ） (2024-05-10T19:06:41Z) - Motion Flow Matching for Human Motion Synthesis and Editing [75.13665467944314]
本研究では,効率的なサンプリングと効率性を備えた人体運動生成のための新しい生成モデルであるemphMotion Flow Matchingを提案する。
提案手法は, 従来の拡散モデルにおいて, サンプリングの複雑さを1000ステップから10ステップに減らし, テキスト・ツー・モーション・ジェネレーション・ベンチマークやアクション・ツー・モーション・ジェネレーション・ベンチマークで同等の性能を実現する。
論文 参考訳（メタデータ） (2023-12-14T12:57:35Z) - MOVIN: Real-time Motion Capture using a Single LiDAR [7.3228874258537875]
我々は,グローバルトラッキングを用いたリアルタイムモーションキャプチャのためのデータ駆動生成法MOVINを提案する。
本フレームワークは,パフォーマーの3次元グローバル情報と局所的な関節の詳細を正確に予測する。
実世界のシナリオでメソッドをデモするために,リアルタイムアプリケーションを実装した。
論文 参考訳（メタデータ） (2023-09-17T16:04:15Z) - MotionTrack: Learning Motion Predictor for Multiple Object Tracking [68.68339102749358]
本研究では,学習可能なモーション予測器を中心に,新しいモーショントラッカーであるMotionTrackを紹介する。
実験結果から、MotionTrackはDancetrackやSportsMOTといったデータセット上での最先端のパフォーマンスを示す。
論文 参考訳（メタデータ） (2023-06-05T04:24:11Z) - Interactive Character Control with Auto-Regressive Motion Diffusion Models [18.727066177880708]
リアルタイム動作合成のためのA-MDM(Auto-Regressive Motion Diffusion Model)を提案する。
我々の条件拡散モデルは初期ポーズを入力とし、前者のフレームに条件付けられた連続した動きフレームを自動回帰的に生成する。
本稿では,タスク指向サンプリング,インペインティング,階層的強化学習など,対話型制御をA-MDMに組み込む一連の手法を紹介する。
論文 参考訳（メタデータ） (2023-06-01T07:48:34Z) - MotionBEV: Attention-Aware Online LiDAR Moving Object Segmentation with
Bird's Eye View based Appearance and Motion Features [5.186531650935954]
我々は、LiDAR移動物体セグメンテーションのための高速かつ正確なフレームワークであるMotionBEVを紹介する。
提案手法では,3次元LiDARスキャンを2次元極性BEV表現に変換し,計算効率を向上させる。
我々は、外観・動作特徴からLiDAR時間情報を適応的に融合させるために、AMCM(Adearance-Motion Co-attention Module)でブリッジされたデュアルブランチネットワークを使用する。
論文 参考訳（メタデータ） (2023-05-12T09:28:09Z) - WOMD-LiDAR: Raw Sensor Dataset Benchmark for Motion Forecasting [38.95768804529958]
動作予測タスクのための大規模で高品質な多種多様なLiDARデータを用いて,Open Motionデータセットを拡張した。
新しいデータセットWOMD-LiDARは10万枚以上のシーンで構成され、それぞれ20秒にまたがる。
実験の結果,LiDARデータは動き予測タスクの改善をもたらすことがわかった。
論文 参考訳（メタデータ） (2023-04-07T20:23:15Z) - STMT: A Spatial-Temporal Mesh Transformer for MoCap-Based Action Recognition [50.064502884594376]
本研究では、モーションキャプチャー(MoCap)シーケンスを用いた人間の行動認識の問題点について検討する。
メッシュシーケンスを直接モデル化する新しい時空間メッシュ変換器(STMT)を提案する。
提案手法は,スケルトンベースモデルやポイントクラウドベースモデルと比較して,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-03-31T16:19:27Z) - Flow-Guided Sparse Transformer for Video Deblurring [124.11022871999423]
FlowGuided Sparse Transformer (F GST) はビデオデブリのためのフレームワークである。
FGSW-MSAは、推定光流のガイダンスを楽しみ、隣り合うフレームの同じシーンパッチに対応する、空間的にスパースな要素を世界中にサンプリングする。
提案するFGSTは,DVDおよびGOPROデータセットの最先端パッチよりも優れており,実際のビデオの劣化に対して,より視覚的に満足な結果が得られる。
論文 参考訳（メタデータ） (2022-01-06T02:05:32Z) - Unsupervised Motion Representation Learning with Capsule Autoencoders [54.81628825371412]
Motion Capsule Autoencoder (MCAE) は、2レベル階層のモーションをモデル化する。
MCAEは、新しいTrajectory20モーションデータセットと、様々な現実世界の骨格に基づく人間のアクションデータセットで評価されている。
論文 参考訳（メタデータ） (2021-10-01T16:52:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。