論文の概要: VSMP-IMU: Video-Grounded Semantic Motion Programs for Sensor-Aware Synthetic IMU Generation
- arxiv url: http://arxiv.org/abs/2608.05782v1
- Date: Thu, 06 Aug 2026 09:16:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.864117
- Title: VSMP-IMU: Video-Grounded Semantic Motion Programs for Sensor-Aware Synthetic IMU Generation
- Title(参考訳): VSMP-IMU:センサ対応合成IMU生成用ビデオグラウンドセマンティックモーションプログラム
- Abstract要約: 構造化セマンティックモーションプログラム(SMP)に基づく制御可能な合成IMU生成のためのビデオグラウンドフレームワークVSMP-IMUを提案する。
入力ビデオが与えられたら、VSMP-IMUはSMPを抽出して拡張し、動きを合成し、動きを仮想IMU信号に変換し、その結果の信号をターゲットのウェアラブル領域にグラウンドする。
我々は、VSMP-IMUを5つの公開IMU-HARデータセット上で、最先端の合成データ生成手法に対して評価する。
- 参考スコア(独自算出の注目度): 11.283502671153109
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Wearable human activity recognition (HAR) is often limited by the scarcity of labeled sensor data, especially in low-resource, class-imbalanced, and subject-generalization settings. Synthetic IMU generation can reduce this dependency and enhance HAR machine learning model's performance, but existing approaches face a trade-off without addressing all factors: video-driven methods are visually grounded but sensitive to pose-estimation errors, while text-driven methods are controllable but often weakly grounded in how activities are actually performed. We present VSMP-IMU, a video-grounded framework for controllable synthetic IMU generation based on a structured Semantic Motion Program (SMP), which separates activity-defining semantics from label-preserving variation. Given an input video, VSMP-IMU extracts and augments an SMP, uses it to synthesize motion, converts the motion into virtual IMU signals, and grounds the resulting signals to the target wearable domain. We evaluate VSMP-IMU against state-of-the-art synthetic data generation methods on five public IMU-HAR datasets under leave-one-person-out evaluation. VSMP-IMU achieves an average Macro-F1 of 78.33%, improving over real-only training by 9.77% and over the strongest prior synthetic baseline by 4.04%. In low-resource settings with reduced training data-samples, it improves over real-only training by 18.54% and over the strongest prior synthetic baselines by more than 6% on average. Under long-tail evaluation in imbalanced datasets, it improves tail-class Macro-F1 by 19.86% over Real-only training and by 4.76% over SOTA. These results show that structured video-grounded semantics provide a practical foundation for controllable, wearable-relevant synthetic sensor data generation.
- Abstract(参考訳): ウェアラブルなヒューマンアクティビティ認識(HAR)は、特に低リソース、クラス不均衡、主観的一般化設定において、ラベル付きセンサーデータの不足によってしばしば制限される。
合成IMU生成は、この依存性を減らし、HAR機械学習モデルのパフォーマンスを向上させるが、既存のアプローチでは、すべての要因に対処することなくトレードオフに直面している。
本稿では,SMP(Structured Semantic Motion Program)をベースとした合成IMU生成のためのビデオグラウンドフレームワークであるVSMP-IMUについて述べる。
入力ビデオが与えられたら、VSMP-IMUはSMPを抽出して拡張し、動きを合成し、動きを仮想IMU信号に変換し、その結果の信号をターゲットのウェアラブル領域にグラウンドする。
我々は,VSMP-IMUを5つの公開IMU-HARデータセット上での最先端の合成データ生成手法と比較した。
VSMP-IMUは平均78.33%のマクロF1を達成し、実戦でのトレーニングを9.77%、最強の合成ベースラインを4.04%改善した。
トレーニングデータサンプルを減らした低リソース環境では、実際のトレーニングを18.54%改善し、より強力な合成ベースラインを平均6%以上改善している。
不均衡データセットの長期評価では、リアルタイムトレーニングよりもテールクラスのマクロF1を19.86%改善し、SOTAよりも4.76%改善している。
これらの結果から、構造化ビデオグラウンドセマンティクスは、ウェアラブル関連合成センサデータ生成の実用的な基盤となることが示唆された。
関連論文リスト
- Overcoming the Intrinsic Performance Limitations of MEMS IMU via Diffusion-Based Generative Learning [4.891553327942019]
慣性計測ユニット(IMU)は、マルチソース統合ナビゲーションシステムの基本センサーコンポーネントである。
低コストIMU測定から高忠実度仮想IMUデータを合成するための拡散型生成学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-12T05:03:52Z) - Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis [68.28714988482703]
プロセス・リワード・モデル(PRM)は、LLM(Large Language Models)の推論能力を増強することに成功した。
本稿では,一般ドメインのPRMがデータ分析エージェントの監督に苦慮していることを示す。
本稿では,新しい環境対応生成プロセス報酬モデルであるDataPRMを紹介する。
論文 参考訳(メタデータ) (2026-04-27T09:00:30Z) - Design and Validation of a Lightweight 1D CNN for Affective Touch Classification in Soft Plush Companions [59.49967357689445]
ソフトなセンサー付きコンパニオンは、社会的支援技術のための物理的に安全で感情的に直感的なインターフェースを提供する。
本研究では,ソフト・インタラクティブ・コンパニオンにおける感情的触覚認識のためのディープラーニングモデルの開発と検証を目的とした,オープンソースで拡張されたリアルタイムフレームワークを提案する。
論文 参考訳(メタデータ) (2026-04-16T10:20:05Z) - InternVLA-A1: Unifying Understanding, Generation and Action for Robotic Manipulation [77.07565723756119]
InternVLA-A1は動的予測機能を備えた視覚言語モデルである。
我々は、実世界のロボットデータ、合成シミュレーションデータ、人間のビデオなどを用いて、これらのモデルを異種データソース上で事前訓練する。
InternVLA-A1を実世界の12のロボットタスクとシミュレーションベンチマークで評価した。
論文 参考訳(メタデータ) (2026-01-05T18:54:29Z) - Refining Diffusion Models for Motion Synthesis with an Acceleration Loss to Generate Realistic IMU Data [1.291843130404247]
現実的なIMUデータを得るために,テキストからIMU(慣性計測単位)の動き合成フレームワークを提案する。
加速に基づく2次損失(L_acc)を伴う事前学習拡散モデル
L_accは、生成された動きの離散的な2階時間差に一貫性を強制する。
論文 参考訳(メタデータ) (2025-12-09T17:51:01Z) - GRAM-MAMBA: Holistic Feature Alignment for Wireless Perception with Adaptive Low-Rank Compensation [8.217823995127201]
スマートホーム、インテリジェントトランスポート、産業自動化、ヘルスケアに広くデプロイされている、IoT(Internet of Things)の認識には、マルチモーダル融合が不可欠である。
既存のシステムは、しばしば課題に直面している。高モデル複雑さは、リソースに制約のある環境へのデプロイを妨げる。
本稿では,センサ時系列の効率的な処理に線形複雑マンバモデルを用いるGRAM-MAMBAと,モーダル間のペアアライメントを最適化したGRAM行列戦略を提案する。
論文 参考訳(メタデータ) (2025-07-18T10:30:37Z) - Improving Out-of-distribution Human Activity Recognition via IMU-Video Cross-modal Representation Learning [3.177649348456073]
ウェアラブル慣性センサーに基づくヒューマンアクティビティ認識(HAR)は,遠隔健康モニタリングにおいて重要な役割を担っている。
我々は,大規模未ラベルIMUビデオデータから表現を学習するための,クロスモーダルな自己教師型事前学習手法を提案する。
以上の結果から,提案手法は現状のIMU-ビデオ事前訓練手法よりも優れていたことが示唆された。
論文 参考訳(メタデータ) (2025-07-17T18:47:46Z) - Scaling Human Activity Recognition: A Comparative Evaluation of Synthetic Data Generation and Augmentation Techniques [1.0712226955584796]
HAR(Human Activity Recognition)は、ラベル付きデータセットの不足によってしばしば制限される。
近年, 仮想慣性測定ユニット(IMU)データの生成について, クロスモーダル転送による検討が行われている。
論文 参考訳(メタデータ) (2025-06-09T10:25:53Z) - Retrosynthesis prediction enhanced by in-silico reaction data
augmentation [66.5643280109899]
RetroWISEは,実データから推定されるベースモデルを用いて,シリコン内反応の生成と増大を行うフレームワークである。
3つのベンチマークデータセットで、RetroWISEは最先端モデルに対して最高の全体的なパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-01-31T07:40:37Z) - HFedMS: Heterogeneous Federated Learning with Memorable Data Semantics
in Industrial Metaverse [49.1501082763252]
本稿では,新しい産業メタバースに実用FLを取り入れたHFEDMSを提案する。
動的グルーピングとトレーニングモード変換によってデータの均一性を低下させる。
そして、圧縮された履歴データセマンティクスを融合することで、忘れられた知識を補う。
ストリームされた非I.d.FEMNISTデータセットに対して,368個のシミュレーションデバイスを用いて実験を行った。
論文 参考訳(メタデータ) (2022-11-07T04:33:24Z) - Transformer Inertial Poser: Attention-based Real-time Human Motion
Reconstruction from Sparse IMUs [79.72586714047199]
本研究では,6つのIMUセンサからリアルタイムに全体動作を再構築する,注意に基づく深層学習手法を提案する。
提案手法は, 実装が簡単で, 小型でありながら, 定量的かつ質的に新しい結果が得られる。
論文 参考訳(メタデータ) (2022-03-29T16:24:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。