論文の概要: MultiTSF: Transformer-based Sensor Fusion for Human-Centric Multi-view and Multi-modal Action Recognition

• arxiv url: http://arxiv.org/abs/2504.02279v2
• Date: Mon, 07 Apr 2025 11:53:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:11:44.906490
• Title: MultiTSF: Transformer-based Sensor Fusion for Human-Centric Multi-view and Multi-modal Action Recognition
• Title（参考訳）: MultiTSF:人間中心型マルチビューとマルチモーダル動作認識のためのトランスフォーマーベースセンサフュージョン
• Authors: Trung Thanh Nguyen, Yasutomo Kawanishi, Vijay John, Takahiro Komamizu, Ichiro Ide,
• Abstract要約: マルチモーダル・マルチビュー観測による行動認識は、監視、ロボティクス、スマート環境における応用において大きな可能性を秘めている。 マルチモーダルマルチビュー変換器を用いたセンサフュージョン(MultiTSF)を提案する。 提案手法はトランスフォーマーを用いて動的にビュー間の関係をモデル化し,複数のビューにまたがる時間的依存関係をキャプチャする。
• 参考スコア（独自算出の注目度）: 2.7745600113170994
• License:
• Abstract: Action recognition from multi-modal and multi-view observations holds significant potential for applications in surveillance, robotics, and smart environments. However, existing methods often fall short of addressing real-world challenges such as diverse environmental conditions, strict sensor synchronization, and the need for fine-grained annotations. In this study, we propose the Multi-modal Multi-view Transformer-based Sensor Fusion (MultiTSF). The proposed method leverages a Transformer-based to dynamically model inter-view relationships and capture temporal dependencies across multiple views. Additionally, we introduce a Human Detection Module to generate pseudo-ground-truth labels, enabling the model to prioritize frames containing human activity and enhance spatial feature learning. Comprehensive experiments conducted on our in-house MultiSensor-Home dataset and the existing MM-Office dataset demonstrate that MultiTSF outperforms state-of-the-art methods in both video sequence-level and frame-level action recognition settings.
• Abstract（参考訳）: マルチモーダル・マルチビュー観測による行動認識は、監視、ロボティクス、スマート環境における応用において大きな可能性を秘めている。 しかし、既存の手法は、様々な環境条件、厳密なセンサー同期、きめ細かいアノテーションの必要性など、現実世界の課題に対処できないことが多い。 本研究では,マルチモーダルマルチビュートランスを用いたセンサフュージョン(MultiTSF)を提案する。 提案手法はトランスフォーマーを用いて動的にビュー間の関係をモデル化し,複数のビューにまたがる時間的依存関係をキャプチャする。 さらに,擬似地下構造ラベルを生成するためのヒューマン検出モジュールを導入し,人間の活動を含むフレームを優先順位付けし,空間的特徴学習を強化する。 社内のMultiSensor-Homeデータセットと既存のMM-Officeデータセットを用いた総合的な実験により、MultiTSFは、ビデオシーケンスレベルとフレームレベルの両方のアクション認識設定において、最先端の手法よりも優れていることを示した。

関連論文リスト

• SM3Det: A Unified Model for Multi-Modal Remote Sensing Object Detection [73.49799596304418]
  本稿では,リモートセンシングのためのマルチモーダルデータセットとマルチタスクオブジェクト検出(M2Det)という新しいタスクを提案する。 水平方向または指向方向の物体を、あらゆるセンサーから正確に検出するように設計されている。 この課題は、1)マルチモーダルモデリングの管理に関わるトレードオフ、2)マルチタスク最適化の複雑さに起因する。
  論文  参考訳（メタデータ） (2024-12-30T02:47:51Z)
• Reliable Object Tracking by Multimodal Hybrid Feature Extraction and Transformer-Based Fusion [18.138433117711177]
  本稿では,信頼度の高い単一オブジェクト追跡にフレームイベントベースのデータを利用する新しいマルチモーダルハイブリッドトラッカー(MMHT)を提案する。 MMHTモデルは、人工ニューラルネットワーク(ANN)とスパイクニューラルネットワーク(SNN)からなるハイブリッドバックボーンを使用して、異なる視覚モードから支配的な特徴を抽出する。 MMHTモデルは,他の最先端手法と比較して,競争性能を示すことを示した。
  論文  参考訳（メタデータ） (2024-05-28T07:24:56Z)
• MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
  実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。 近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。 SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
  論文  参考訳（メタデータ） (2024-04-13T13:39:26Z)
• Bi-directional Adapter for Multi-modal Tracking [67.01179868400229]
  汎用の双方向アダプタを用いたマルチモーダル視覚プロンプト追跡モデルを提案する。 我々は、モーダリティ固有の情報をあるモーダリティから別のモーダリティへ転送するための、シンプルだが効果的なライト・フィーチャー・アダプタを開発した。 本モデルでは,完全微調整法と素早い学習法の両方と比較して,追跡性能が優れている。
  論文  参考訳（メタデータ） (2023-12-17T05:27:31Z)
• Joint Depth Prediction and Semantic Segmentation with Multi-View SAM [59.99496827912684]
  我々は,Segment Anything Model(SAM)のリッチなセマンティック特徴を利用した深度予測のためのマルチビューステレオ(MVS)手法を提案する。 この拡張深度予測は、Transformerベースのセマンティックセグメンテーションデコーダのプロンプトとして役立ちます。
  論文  参考訳（メタデータ） (2023-10-31T20:15:40Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Distilled Mid-Fusion Transformer Networks for Multi-Modal Human Activity Recognition [34.424960016807795]
  マルチモーダルなヒューマンアクティビティ認識は、補完的な情報を利用して、うまく一般化できるモデルを構築することができる。 深層学習法は有望な結果を示しており,有意な多モーダルな時空間特徴抽出の可能性は十分に検討されていない。 知識蒸留に基づくマルチモーダル・ミッドフュージョン・アプローチ(DMFT)を提案し,多モーダル・ヒューマンアクティビティ認識タスクを効率的に解決するために,情報的特徴抽出と融合を行う。
  論文  参考訳（メタデータ） (2023-05-05T19:26:06Z)
• Multi-scale Cooperative Multimodal Transformers for Multimodal Sentiment Analysis in Videos [58.93586436289648]
  マルチモーダル感情分析のためのマルチスケール協調型マルチモーダルトランス (MCMulT) アーキテクチャを提案する。 本モデルは,非整合型マルチモーダル列に対する既存手法よりも優れ,整合型マルチモーダル列に対する強い性能を有する。
  論文  参考訳（メタデータ） (2022-06-16T07:47:57Z)
• Multi-modal Fusion for Single-Stage Continuous Gesture Recognition [45.19890687786009]
  テンポラル・マルチモーダル・フュージョン(TMMF)と呼ばれる単一段階連続ジェスチャー認識フレームワークを導入する。 TMMFは、単一のモデルでビデオ内の複数のジェスチャーを検出し、分類することができる。 このアプローチは、前処理のセグメンテーションステップを必要とせずに、ジェスチャーと非ジェスチャーの自然な遷移を学習する。
  論文  参考訳（メタデータ） (2020-11-10T07:09:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。