論文の概要: A Comparison of Fusion Techniques for Multi-Modal Human Activity Recognition on the HARMES Dataset

• arxiv url: http://arxiv.org/abs/2606.27886v1
• Date: Fri, 26 Jun 2026 09:30:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.44301
• Title: A Comparison of Fusion Techniques for Multi-Modal Human Activity Recognition on the HARMES Dataset
• Title（参考訳）: HARMESデータセットを用いたマルチモーダルヒューマンアクティビティ認識のための融合手法の比較
• Abstract要約: Gated Multi-modal Fusion は最大マクロF1スコア (0.82) を達成し, 連成型遅延融合 HARMES 紙ベースラインを0.76 × +6pp で上回った。 実験で使用されたすべてのコードはGitHubで公開されている。
• 参考スコア（独自算出の注目度）: 3.498189568295837
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in Human Activity Recognition (HAR) from wearable sensors have shown that multi-modal deep learning models consistently outperform their uni-modal counterparts. Modalities can include IMUs, RGB cameras, audio signals, and others. One important aspect of multi-modal deep learning is the sensor fusion approach we apply. Over recent years, multiple fusion paradigms have been proposed for multi-modal HAR. However, to the best of our knowledge, no head-to-head comparison of these paradigms exists on a common multi-modal HAR benchmark dataset. To address this research gap, we systematically compare seven state-of-the-art sensor fusion methods on the recently released HARMES dataset, which comprises 61 hours of fully labeled IMU, audio, and ambient humidity data. The chosen dataset focuses on 15 household and personal hygiene activities of daily living (ADLs). By applying the seven different fusion techniques to a state-of-the-art multi-modal model architecture, we show that Gated Multi-modal Fusion achieves the highest macro F1-score (0.82), surpassing the concatenation-based late fusion HARMES paper baseline of 0.76 by +6pp under leave-one-participant-out evaluation. All code used in our experiments is made publicly available on GitHub.
• Abstract（参考訳）: 近年のウェアラブルセンサによるヒューマンアクティビティ認識(HAR)の進歩は、マルチモーダルディープラーニングモデルがユニモーダルモデルよりも一貫して優れていることを示している。 モダリティには、IMU、RGBカメラ、オーディオ信号などが含まれる。 マルチモーダル深層学習の1つの重要な側面は、我々が適用したセンサフュージョンアプローチである。 近年,マルチモーダルHARに複数の融合パラダイムが提案されている。 しかし、我々の知る限りでは、これらのパラダイムの直接比較は共通のマルチモーダルHARベンチマークデータセットには存在しない。 この研究ギャップに対処するため、我々は最近リリースされたHARMESデータセットの7つの最先端センサー融合手法を体系的に比較した。 選択されたデータセットは、日常生活(ADL)の15世帯および個人の衛生活動に焦点を当てている。 Gated Multi-modal Fusion は,最先端のマルチモーダルモデルアーキテクチャに 7 つの異なる融合技術を適用し,連成型遅延融合 HARMES 紙のベースラインである 0.76 × +6pp を超え,最高マクロ F1-score (0.82) を達成することを示す。 実験で使用されたすべてのコードはGitHubで公開されている。

関連論文リスト

• Team LEYA in 10th ABAW Competition: Multimodal Ambivalence/Hesitancy Recognition Approach [43.09390014734485]
  本稿では,制約のないビデオにおけるアンビバレンス/ヘシタシー認識のためのマルチモーダルアプローチを提案する。 提案手法は,シーン,顔,音声,テキストの4つの相補的モダリティを統合する。 BAHコーパスの実験では、全ての単調基底線上でのマルチモーダル核融合の明らかな利得が示されている。
  論文  参考訳（メタデータ） (2026-03-13T09:50:03Z)
• Structured and Abstractive Reasoning on Multi-modal Relational Knowledge Images [58.553448128258566]
  本稿では,大規模高品質データと能力向上手法の二重ギャップを橋渡しする。 我々は、64Kの高品質なマルチモーダル命令サンプルからなるデータセットSTAR-64Kを導入し、5つのオープンソースMLLMに対して実験を行う。
  論文  参考訳（メタデータ） (2025-10-22T02:23:40Z)
• Multimodal Sentiment Analysis on CMU-MOSEI Dataset using Transformer-based Models [0.0]
  本研究は,CMU-MOSEIデータセットを用いたマルチモーダル感情分析を行う。 我々は、テキスト、オーディオ、視覚のモダリティを統合するために、早期融合を伴うトランスフォーマーベースのモデルを使用する。 このモデルは、97.87%の7クラス精度と0.9682 F1スコアで高い性能を達成している。
  論文  参考訳（メタデータ） (2025-05-09T15:10:57Z)
• Dynamic Multimodal Fusion via Meta-Learning Towards Micro-Video Recommendation [97.82707398481273]
  メタマルチモーダルフュージョン(MetaMMF)と呼ばれるメタラーニングに基づく新しいマルチモーダルフュージョンフレームワークを開発する。 メタMMFは、入力タスクのマルチモーダル特徴から抽出されたメタ情報に基づいて、メタラーナを介して、アイテム固有の融合関数としてニューラルネットワークをパラメータ化する。 我々は3つのベンチマークデータセットに対して広範な実験を行い、最先端のマルチモーダルレコメンデーションモデルに対する大幅な改善を実証した。
  論文  参考訳（メタデータ） (2025-01-13T07:51:43Z)
• When Pedestrian Detection Meets Multi-Modal Learning: Generalist Model and Benchmark Dataset [40.24765100535353]
  本稿では,マルチモーダル知覚のための新しい一般化モデルであるMMPedestronを紹介する。 提案手法は,モーダル表現と融合のための統一エンコーダと,歩行者検出のための汎用ヘッドを備える。 マルチモーダルジョイントトレーニングでは、幅広い歩行者検出ベンチマークにおいて最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-07-14T09:16:49Z)
• Deep Equilibrium Multimodal Fusion [88.04713412107947]
  多重モーダル融合は、複数のモーダルに存在する相補的な情報を統合し、近年多くの注目を集めている。 本稿では,動的多モード核融合プロセスの固定点を求めることにより,多モード核融合に対する新しいDeep equilibrium (DEQ)法を提案する。 BRCA,MM-IMDB,CMU-MOSI,SUN RGB-D,VQA-v2の実験により,DEC融合の優位性が示された。
  論文  参考訳（メタデータ） (2023-06-29T03:02:20Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)
• Multi-Stage Based Feature Fusion of Multi-Modal Data for Human Activity Recognition [6.0306313759213275]
  本稿では,RGBビデオとIMUセンサの機能を効果的に組み合わせたマルチモーダルフレームワークを提案する。 最初の段階では,各入力エンコーダが特徴を効果的に抽出することを学ぶ。 ビデオのみに比べて22%,11%,MMActデータセットでは20%,12%の大幅な改善が見られた。
  論文  参考訳（メタデータ） (2022-11-08T15:48:44Z)
• Attention Bottlenecks for Multimodal Fusion [90.75885715478054]
  機械知覚モデルは典型的にはモダリティに特化しており、単調なベンチマークのために最適化されている。 複数の層でのモジュラリティ融合に「融合」を用いる新しいトランスフォーマーアーキテクチャを導入する。 我々は、徹底的なアブレーション研究を行い、複数のオーディオ視覚分類ベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-06-30T22:44:12Z)
• Multimodal Object Detection via Bayesian Fusion [59.31437166291557]
  我々は、RGBとサーマルカメラでマルチモーダルオブジェクト検出を研究します。後者は照明不良下ではるかに強力なオブジェクトシグネチャを提供することができます。 我々の重要な貢献は、異なるモードのボックス検出を融合する非学習遅延融合法である。 このアプローチは、整列(KAIST)と非整列(FLIR)のマルチモーダルセンサーデータを含むベンチマークに適用されます。
  論文  参考訳（メタデータ） (2021-04-07T04:03:20Z)
• Memory based fusion for multi-modal deep learning [39.29589204750581]
  メモリベースのAttentive Fusionレイヤは、現在の機能と長期依存の両方をデータに組み込むことで、モードをフューズする。 データに現在の特徴と長期的依存関係の両方を組み込むことで、モデムを融合するメモリベースのアテンティブフュージョン層を新たに提案する。
  論文  参考訳（メタデータ） (2020-07-16T02:05:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。