論文の概要: Mojito: LLM-Aided Motion Instructor with Jitter-Reduced Inertial Tokens
- arxiv url: http://arxiv.org/abs/2502.16175v1
- Date: Sat, 22 Feb 2025 10:31:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-25 15:56:27.075858
- Title: Mojito: LLM-Aided Motion Instructor with Jitter-Reduced Inertial Tokens
- Title（参考訳）: モジト:ジッタ誘導慣性トークンを用いたLCM支援モーションインストラクタ
- Authors: Ziwei Shan, Yaoyu He, Chengfeng Zhao, Jiashen Du, Jingyan Zhang, Qixuan Zhang, Jingyi Yu, Lan Xu,
- Abstract要約: 慣性計測ユニット(IMU)は軽量でウェアラブルで、プライバシーに配慮したモーションセンシングを提供する。
ストリーミングIMUデータの処理は、無線伝送不安定性、センサノイズ、ドリフトといった課題に直面している。
対話型モーションキャプチャと行動分析のための大規模言語モデルと慣性センシングを統合したインテリジェントモーションエージェントであるMojitoを紹介する。
- 参考スコア（独自算出の注目度）: 37.26990830273303
- License:
- Abstract: Human bodily movements convey critical insights into action intentions and cognitive processes, yet existing multimodal systems primarily focused on understanding human motion via language, vision, and audio, which struggle to capture the dynamic forces and torques inherent in 3D motion. Inertial measurement units (IMUs) present a promising alternative, offering lightweight, wearable, and privacy-conscious motion sensing. However, processing of streaming IMU data faces challenges such as wireless transmission instability, sensor noise, and drift, limiting their utility for long-term real-time motion capture (MoCap), and more importantly, online motion analysis. To address these challenges, we introduce Mojito, an intelligent motion agent that integrates inertial sensing with large language models (LLMs) for interactive motion capture and behavioral analysis.
- Abstract（参考訳）: 人間の身体運動は、行動意図や認知過程に関する重要な洞察を伝達するが、既存のマルチモーダルシステムは、主に言語、視覚、音声を通して人間の動きを理解することに焦点を当てており、3次元運動に固有の動的力とトルクを捉えるのに苦労している。
慣性測定ユニット(IMU)は、軽量でウェアラブルで、プライバシーに配慮したモーションセンシングを提供する、有望な代替手段を提供する。
しかし、IMUデータのストリーミング処理は、無線伝送不安定性、センサノイズ、ドリフトといった課題に直面し、長期リアルタイムモーションキャプチャー(MoCap)の有用性を制限し、さらに重要なのはオンラインモーション分析である。
これらの課題に対処するために,対話型モーションキャプチャと行動解析のために,慣性センシングと大規模言語モデル(LLM)を統合したインテリジェントモーションエージェントであるMojitoを紹介した。
関連論文リスト
- A Plug-and-Play Physical Motion Restoration Approach for In-the-Wild High-Difficulty Motions [56.709280823844374]
動作コンテキストとビデオマスクを利用して、欠陥のある動作を修復するマスクベースの動作補正モジュール(MCM)を導入する。
また,運動模倣のための事前訓練および適応手法を用いた物理ベースの運動伝達モジュール (PTM) を提案する。
本手法は,高速な移動を含む映像モーションキャプチャ結果を物理的に洗練するためのプラグイン・アンド・プレイモジュールとして設計されている。
論文 参考訳（メタデータ） (2024-12-23T08:26:00Z) - Mojito: Motion Trajectory and Intensity Control for Video Generation [79.85687620761186]
本稿では,テキスト・ビデオ生成のための運動軌跡と強度制御の両方を組み込んだ拡散モデルであるMojitoを紹介する。
実験は, 高精度な軌道制御と強度制御を高い計算効率で実現する上で, モジトの有効性を実証する。
論文 参考訳（メタデータ） (2024-12-12T05:26:43Z) - MotionGPT-2: A General-Purpose Motion-Language Model for Motion Generation and Understanding [76.30210465222218]
MotionGPT-2は、MLMLM(Large Motion-Language Model)である。
LLM(Large Language Models)によるマルチモーダル制御をサポートしている。
難易度の高い3次元全体運動生成タスクに高い適応性を持つ。
論文 参考訳（メタデータ） (2024-10-29T05:25:34Z) - MotionBank: A Large-scale Video Motion Benchmark with Disentangled Rule-based Annotations [85.85596165472663]
我々は、13の動画アクションデータセット、1.24Mのモーションシーケンス、132.9Mの自然な、多様な人間のモーションフレームからなるMotionBankを構築した。
私たちのMotionBankは、人間のモーション生成、モーションインコンテキスト生成、そしてモーション理解といった、一般的なモーション関連タスクに役立ちます。
論文 参考訳（メタデータ） (2024-10-17T17:31:24Z) - MotionLLM: Understanding Human Behaviors from Human Motions and Videos [40.132643319573205]
この研究は、人間の行動理解の多様性(ビデオと運動のモダリティ)の領域を掘り下げる。
我々は、人間の動作理解、キャプション、推論のためのフレームワークであるMotionLLMを紹介する。
論文 参考訳（メタデータ） (2024-05-30T17:59:50Z) - MotionChain: Conversational Motion Controllers via Multimodal Prompts [25.181069337771127]
我々は,マルチモーダルプロンプトによる連続的,長期的人間の動作を生成する対話型ヒューマンモーションコントローラであるMotionChainを紹介する。
大規模言語、視覚言語、視覚運動データを活用することで、MotionChainは、マルチターン会話で各命令を理解し、それに続く人間の動きを生成する。
論文 参考訳（メタデータ） (2024-04-02T07:09:29Z) - MotionTrack: Learning Motion Predictor for Multiple Object Tracking [68.68339102749358]
本研究では,学習可能なモーション予測器を中心に,新しいモーショントラッカーであるMotionTrackを紹介する。
実験結果から、MotionTrackはDancetrackやSportsMOTといったデータセット上での最先端のパフォーマンスを示す。
論文 参考訳（メタデータ） (2023-06-05T04:24:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。