論文の概要: Sen-Cap: Sensor-Flexible and Noise-Resilient Human Motion Capture via LiDAR-Camera Integration
- arxiv url: http://arxiv.org/abs/2608.02285v1
- Date: Mon, 03 Aug 2026 14:16:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.593565
- Title: Sen-Cap: Sensor-Flexible and Noise-Resilient Human Motion Capture via LiDAR-Camera Integration
- Title（参考訳）: Sen-Cap:LiDAR-Camera統合によるセンサフレキシブル・ノイズ耐性人間のモーションキャプチャ
- Abstract要約: Sen-Capは、LiDARとカメラのマルチモーダルデータを統合した3Dモーションキャプチャフレームワークである。
Sen-CapはHuman-M3とFreeMotionの主要なメトリクスで最先端のパフォーマンスを達成する。
この柔軟性と堅牢性の組み合わせは、現実のシナリオにおけるモーションキャプチャの新しい機会を開放する。
- 参考スコア（独自算出の注目度）: 50.18488308004802
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose Sen-Cap, a Sensor-Flexible and Noise-Resilient 3D human motion Capture framework that integrates multi-modal data from LiDAR and camera. While multi-modal sensors provide richer information than single-modal sensors, existing approaches still suffer from two core challenges. First, multi-modal alignment/matching across arbitrarily deployed sensors is typically handled by explicit calibration, which propagates errors under changing viewpoints and in turn constrains deployment to fixed, highly overlapped layouts. Second, prior methods degrade under severe noise or partial sensor failures, which are common in real-world environments. To address these challenges, Sen-Cap introduces a Unified Across-Sensor Motion Estimator that reconstructs local pose and shape in a human-centric space without calibrations between sensors, supporting a flexible number of sensors, as well as a Noise-Resistant Trajectory Tracker that maintains robustness under severe point cloud noise through iterative refinement. These sensor-flexible and noise-resilient features make Sen-Cap more practical in real-world deployment. Notably, operating in real time, Sen-Cap achieves state-of-the-art performance on major metrics on Human-M3 and FreeMotion, as well as strong cross-domain performance on LiDARHuman26M and RELI11D. This combination of flexibility and robustness opens new opportunities for motion capture in real-world scenarios, e.g. sports analytics, field robotics, and large-scale immersive environments.
- Abstract（参考訳）: 本稿では,LiDARとカメラのマルチモーダルデータを統合したセンサフレキシブル・ノイズ耐性3次元モーションキャプチャーフレームワークであるSen-Capを提案する。
マルチモーダルセンサーはシングルモーダルセンサよりもリッチな情報を提供するが、既存のアプローチには2つの課題がある。
まず、任意に配置されたセンサー間のマルチモーダルアライメント/マッチングは、通常は明示的なキャリブレーションによって処理される。
第二に、事前の手法は、現実の環境でよく見られる、厳しいノイズや部分的なセンサー障害の下で劣化する。
これらの課題に対処するため、Sen-Capは、センサー間のキャリブレーションなしに人中心空間の局所的なポーズと形状を再構築するUnified Across-Sensor Motion Estimatorを導入した。
これらのセンサーフレキシブルでノイズ耐性のある機能は、Sen-Capを現実世界の展開でより実用的なものにしている。
特に、Sen-Capは、Human-M3とFreeMotionの主要メトリクスにおける最先端のパフォーマンス、LiDARHuman26MとRELI11Dでの強力なクロスドメインパフォーマンスを実現している。
この柔軟性と堅牢性の組み合わせは、例えばスポーツ分析、フィールドロボティクス、大規模没入型環境など、現実のシナリオにおけるモーションキャプチャーの新しい機会を開放する。
関連論文リスト
- Talk2Sensors: 3D Visual Grounding in Autonomous Driving via Sensor-Adaptive Physical Cue Matching [66.91228384649921]
Talk2Sensorsは、カメラ、LiDAR、および4Dレーダ上に構築された最初のマルチセンサ3Dビジュアルグラウンドデータセットである。
本稿では,自動走行における言語誘導型3次元視覚グラウンドのためのトランスフォーマーベースの統合フレームワークTSFormerを提案する。
論文 参考訳（メタデータ） (2026-08-05T07:58:35Z) - Towards Real-World Wearable Motion Reconstruction [68.1355376294881]
地上3Dモーションと消費者グレードのセンサを同期する大規模データセットを提案する。
第2に、利用可能なセンサの任意の部分集合から動きを再構成するベースライン生成モデルWHIPを提案する。
第三に、センサの相補性について体系的な研究を行い、異なるモードが相互に相補的な関係を定量化する。
論文 参考訳（メタデータ） (2026-07-08T11:56:02Z) - WeatherOcc3D: VLM-Assisted Adverse Weather Aware 3D Semantic Occupancy Prediction [0.0]
本稿では,VLMを用いた言語環境情報によるマルチセンサ統合を支援するフレームワークを提案する。
我々はパラメータ効率のよいアダプタを用いて、気象特化テキストの埋め込みとセンサーの特徴を調整し、ゲーティング戦略と組み合わせた。
このモデルでは、晴天時にセマンティックカメラの特徴を優先し、雨の夜に幾何学的LiDARにシフトする、融合比を動的に調整することができる。
論文 参考訳（メタデータ） (2026-05-15T16:12:50Z) - ReSPEC: A Framework for Online Multispectral Sensor Reconfiguration in Dynamic Environments [6.718801307135799]
センサ,学習,アクティベーションをクローズドなリコンフィグレーションループに統合するフレームワークを導入する。
我々は,このフレームワークを移動体ローバー上で実装し評価し,適応制御がベースラインに比べて5.3%の精度低下で負荷を29.3%削減することを示した。
論文 参考訳（メタデータ） (2026-02-11T05:39:24Z) - UniForce: A Unified Latent Force Model for Robot Manipulation with Diverse Tactile Sensors [51.88112610411651]
そこで本研究では,多様な触覚センサにまたがる共用潜在力空間を学習する,新しい統合された触覚表現学習フレームワークを提案する。
UniForceは、逆ダイナミクス(image-to-force)とフォワードダイナミクス(force-to-image)を共同モデリングすることで、クロスセンサー領域シフトを低減する
高価な外部力/トルクセンサ(F/T)への依存を避けるため,静的平衡を利用して直接センサ・オブジェクト・センサ・インタラクションを介して力対効果データを収集する。
論文 参考訳（メタデータ） (2026-02-01T11:03:01Z) - Occluded nuScenes: A Multi-Sensor Dataset for Evaluating Perception Robustness in Automated Driving [4.60199848319746]
Occluded nuScenesデータセットは、広く使用されているnuScenesベンチマークの新しい拡張である。
このリソースは、部分的なセンサ故障と環境干渉下での知覚モデルの一貫した再現可能な評価をサポートする。
我々は,自動運転におけるロバストなセンサフュージョン,レジリエンス解析,および安全クリティカルな認識に関する研究を進めることを目的としている。
論文 参考訳（メタデータ） (2025-10-21T12:02:26Z) - SMARTIES: Spectrum-Aware Multi-Sensor Auto-Encoder for Remote Sensing Images [17.304106221330414]
最近のディープラーニングモデルは、単一のセンサーや固定された組み合わせに特化していることが多い。
SMARTIESは、センサ依存/依存の取り組みを持ち上げる汎用的で汎用的な基礎モデルである。
多様なセンサーにまたがる単一タスクとマルチモーダルタスクにおいて、SMARTIESはセンサー固有の事前訓練に依存する以前のモデルより優れている。
論文 参考訳（メタデータ） (2025-06-24T12:51:39Z) - Progressive Inertial Poser: Progressive Real-Time Kinematic Chain Estimation for 3D Full-Body Pose from Three IMU Sensors [25.67875816218477]
スパース追跡信号からのフルボディポーズ推定は、環境条件や記録範囲によって制限されない。
従来の作業では、骨盤と下肢にセンサーを追加することや、キージョイントのグローバルな位置を得るために外部視覚センサーに頼ることが困難だった。
仮想現実技術の実用性を向上させるため,頭部と手首に装着した3つの慣性計測ユニット(IMU)センサから得られた慣性データのみを用いて,全身のポーズを推定した。
論文 参考訳（メタデータ） (2025-05-08T15:28:09Z) - MSSIDD: A Benchmark for Multi-Sensor Denoising [55.41612200877861]
我々は,マルチセンサSIDDデータセットという新しいベンチマークを導入する。これは,認知モデルのセンサ伝達性を評価するために設計された,最初の生ドメインデータセットである。
そこで本研究では,センサに不変な特徴を認知モデルで学習することのできるセンサ一貫性トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-18T13:32:59Z) - CAFuser: Condition-Aware Multimodal Fusion for Robust Semantic Perception of Driving Scenes [56.52618054240197]
本研究では,運転シーンのロバストな意味認識のための条件対応型マルチモーダル融合手法を提案する。
CAFuserは、RGBカメラ入力を用いて環境条件を分類し、コンディショントークンを生成する。
我々のモデルは、特に悪条件シナリオにおいて、ロバスト性と精度を著しく向上させる。
論文 参考訳（メタデータ） (2024-10-14T17:56:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。