論文の概要: Robust Multimodal Learning Framework For Intake Gesture Detection Using Contactless Radar and Wearable IMU Sensors
- arxiv url: http://arxiv.org/abs/2507.07261v1
- Date: Wed, 09 Jul 2025 20:15:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-11 16:40:15.197698
- Title: Robust Multimodal Learning Framework For Intake Gesture Detection Using Contactless Radar and Wearable IMU Sensors
- Title（参考訳）: 無接触レーダとウェアラブルIMUセンサを用いた吸気ジェスチャー検出のためのロバストマルチモーダル学習フレームワーク
- Authors: Chunzhuo Wang, Hans Hallez, Bart Vanrumste,
- Abstract要約: 本研究は,マルチモーダル学習によるウェアラブルと非接触センシングの併用により,検出性能がさらに向上するかどうかを考察する。
IMUとレーダーデータを統合し、ジェスチャー検出を強化し、モダリティの欠如した条件下での性能を維持するために、多モーダル時間畳み込みネットワーク(MM-TCN-CMA)を提案する。
食品摂取のジェスチャー検出にIMUとレーダーデータを効果的に融合する頑健なマルチモーダル学習フレームワークを実証する最初の研究である。
- 参考スコア（独自算出の注目度）: 1.6180992915701704
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Automated food intake gesture detection plays a vital role in dietary monitoring, enabling objective and continuous tracking of eating behaviors to support better health outcomes. Wrist-worn inertial measurement units (IMUs) have been widely used for this task with promising results. More recently, contactless radar sensors have also shown potential. This study explores whether combining wearable and contactless sensing modalities through multimodal learning can further improve detection performance. We also address a major challenge in multimodal learning: reduced robustness when one modality is missing. To this end, we propose a robust multimodal temporal convolutional network with cross-modal attention (MM-TCN-CMA), designed to integrate IMU and radar data, enhance gesture detection, and maintain performance under missing modality conditions. A new dataset comprising 52 meal sessions (3,050 eating gestures and 797 drinking gestures) from 52 participants is developed and made publicly available. Experimental results show that the proposed framework improves the segmental F1-score by 4.3% and 5.2% over unimodal Radar and IMU models, respectively. Under missing modality scenarios, the framework still achieves gains of 1.3% and 2.4% for missing radar and missing IMU inputs. This is the first study to demonstrate a robust multimodal learning framework that effectively fuses IMU and radar data for food intake gesture detection.
- Abstract（参考訳）: 自動摂取ジェスチャー検出は、食事監視において重要な役割を担い、食事行動の客観的かつ継続的な追跡を可能にし、より良い健康的な結果を支援する。
IMU(Wrist-worn inertial Measurement Unit)がこのタスクに広く使われており、有望な結果が得られている。
最近では、接触のないレーダーセンサーも可能性を示している。
本研究は,マルチモーダル学習によるウェアラブルと非接触センシングの併用により,検出性能がさらに向上するかどうかを考察する。
また、マルチモーダル学習における大きな課題である、1つのモダリティが欠落した場合のロバストネスの低減にも取り組んでいます。
そこで本稿では,IMUとレーダデータの統合,ジェスチャー検出の強化,モダリティの欠如した条件下での性能維持を目的とした,多モーダル時間畳み込みネットワーク(MM-TCN-CMA)を提案する。
52名の参加者による52名の食事セッション(3,050名)と797名の飲酒行動)からなる新しいデータセットを開発し、公開している。
実験結果から,提案手法は単調レーダモデルとIMUモデルでそれぞれ4.3%,5.2%向上することがわかった。
モダリティの欠如のシナリオでは、このフレームワークは依然としてレーダーの欠落とIMU入力の欠落に対して1.3%と2.4%のゲインを達成している。
食品摂取のジェスチャー検出にIMUとレーダーデータを効果的に融合する頑健なマルチモーダル学習フレームワークを実証する最初の研究である。
関連論文リスト
- Exploring FMCW Radars and Feature Maps for Activity Recognition: A Benchmark Study [2.251010251400407]
本研究では、人間の活動認識のための周波数変調連続波レーダに基づくフレームワークを提案する。
特徴写像を画像として処理する従来の手法とは異なり、本研究では多次元特徴写像をデータベクトルとして与える。
ConvLSTMモデルは従来の機械学習およびディープラーニングモデルよりも優れ、精度は90.51%に達した。
論文 参考訳（メタデータ） (2025-03-07T17:53:29Z) - Multi-Target Radar Search and Track Using Sequence-Capable Deep Reinforcement Learning [0.26999000177990923]
この研究はレーダーシステムのセンサタスク管理に対処する。
強化学習を用いて、複数のターゲットを効率的に探索し、追跡することに焦点を当てている。
重要な貢献は、強化学習がセンサー管理をどのように最適化できるかを示すことである。
論文 参考訳（メタデータ） (2025-02-19T09:55:38Z) - POMDP-Driven Cognitive Massive MIMO Radar: Joint Target Detection-Tracking In Unknown Disturbances [42.99053410696693]
この研究は、トラッキングと検出タスクを強化するために、部分的に観測可能なマルコフ決定プロセスフレームワークの適用について検討する。
提案手法では,ノイズ統計に関するアプリオリ知識を必要としないオンラインアルゴリズムを用いる。
論文 参考訳（メタデータ） (2024-10-23T15:34:11Z) - RADAR: Robust Two-stage Modality-incomplete Industrial Anomaly Detection [61.71770293720491]
本稿では,2段階のロバスト・モードアリティ不完全融合とFlaAmewoRkの検出について提案する。
我々のブートストラッピング哲学は、MIIADの2段階を強化し、マルチモーダルトランスの堅牢性を向上させることである。
実験の結果,提案手法は従来のMIAD法よりも有効性とロバスト性に優れていた。
論文 参考訳（メタデータ） (2024-10-02T16:47:55Z) - UniBEVFusion: Unified Radar-Vision BEVFusion for 3D Object Detection [2.123197540438989]
多くのレーダービジョン融合モデルではレーダーを希薄なLiDARとして扱い、レーダー固有の情報を過小評価している。
本稿では,レーダー固有データを深度予測プロセスに統合したRDLモジュールを提案する。
また、異なるモードでBEV機能を抽出するUnified Feature Fusion (UFF)アプローチも導入する。
論文 参考訳（メタデータ） (2024-09-23T06:57:27Z) - Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical
Fusion for Multimodal Affect Recognition [69.32305810128994]
モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。
本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。
HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
論文 参考訳（メタデータ） (2023-05-23T01:24:15Z) - Eat-Radar: Continuous Fine-Grained Intake Gesture Detection Using FMCW
Radar and 3D Temporal Convolutional Network with Attention [1.8932585560127178]
食品摂取モニタリングのための接触型レーダーを用いた新しいアプローチを提案する。
高周波変調連続波(FMCW)レーダーセンサを用いて、微細な摂食・飲食のジェスチャーを認識する。
3D-TCN-Attを用いた3次元時間的畳み込みネットワークを開発し,食事セッションにおける摂食行動の検出とセグメンテーションを行った。
論文 参考訳（メタデータ） (2022-11-08T14:03:44Z) - Minkowski Tracker: A Sparse Spatio-Temporal R-CNN for Joint Object
Detection and Tracking [53.64390261936975]
我々はオブジェクトの検出と追跡を共同で解決するスパース時間R-CNNであるMinkowski Trackerを提案する。
領域ベースCNN(R-CNN)に着想を得て,物体検出器R-CNNの第2段階として動きを追跡することを提案する。
大規模実験では,本手法の総合的な性能向上は4つの要因によることがわかった。
論文 参考訳（メタデータ） (2022-08-22T04:47:40Z) - Inertial Hallucinations -- When Wearable Inertial Devices Start Seeing
Things [82.15959827765325]
環境支援型生活(AAL)のためのマルチモーダルセンサフュージョンの新しいアプローチを提案する。
我々は、標準マルチモーダルアプローチの2つの大きな欠点、限られた範囲のカバレッジ、信頼性の低下に対処する。
我々の新しいフレームワークは、三重項学習によるモダリティ幻覚の概念を融合させ、異なるモダリティを持つモデルを訓練し、推論時に欠落したセンサーに対処する。
論文 参考訳（メタデータ） (2022-07-14T10:04:18Z) - ReDFeat: Recoupling Detection and Description for Multimodal Feature
Learning [51.07496081296863]
我々は、相互重み付け戦略による多モーダル特徴学習の検出と記述の独立した制約を再定義する。
本研究では,大きな受容場を有し,学習可能な非最大抑制層を備える検出器を提案する。
我々は,特徴マッチングと画像登録タスクにおける特徴量を評価するために,クロス可視,赤外線,近赤外,合成開口レーダ画像ペアを含むベンチマークを構築した。
論文 参考訳（メタデータ） (2022-05-16T04:24:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。