論文の概要: MultiSensor-Home: A Wide-area Multi-modal Multi-view Dataset for Action Recognition and Transformer-based Sensor Fusion

• arxiv url: http://arxiv.org/abs/2504.02287v1
• Date: Thu, 03 Apr 2025 05:23:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:56:35.727720
• Title: MultiSensor-Home: A Wide-area Multi-modal Multi-view Dataset for Action Recognition and Transformer-based Sensor Fusion
• Title（参考訳）: MultiSensor-Home: 行動認識とトランスフォーマーを用いたセンサフュージョンのための広域マルチモーダルマルチビューデータセット
• Authors: Trung Thanh Nguyen, Yasutomo Kawanishi, Vijay John, Takahiro Komamizu, Ichiro Ide,
• Abstract要約: マルチモーダル・マルチビュー・アクション認識はコンピュータビジョンにおいて急速に成長している分野である。 現在のデータセットは、広い環境条件、非同期データストリーム、フレームレベルのアノテーションの欠如など、現実の課題に対処できないことが多い。 マルチモーダル・マルチビュー変換器を用いたセンサフュージョン(MultiTSF)法を提案し,マルチセンサ・ホーム・データセットを提案する。
• 参考スコア（独自算出の注目度）: 2.7745600113170994
• License:
• Abstract: Multi-modal multi-view action recognition is a rapidly growing field in computer vision, offering significant potential for applications in surveillance. However, current datasets often fail to address real-world challenges such as wide-area environmental conditions, asynchronous data streams, and the lack of frame-level annotations. Furthermore, existing methods face difficulties in effectively modeling inter-view relationships and enhancing spatial feature learning. In this study, we propose the Multi-modal Multi-view Transformer-based Sensor Fusion (MultiTSF) method and introduce the MultiSensor-Home dataset, a novel benchmark designed for comprehensive action recognition in home environments. The MultiSensor-Home dataset features untrimmed videos captured by distributed sensors, providing high-resolution RGB and audio data along with detailed multi-view frame-level action labels. The proposed MultiTSF method leverages a Transformer-based fusion mechanism to dynamically model inter-view relationships. Furthermore, the method also integrates a external human detection module to enhance spatial feature learning. Experiments on MultiSensor-Home and MM-Office datasets demonstrate the superiority of MultiTSF over the state-of-the-art methods. The quantitative and qualitative results highlight the effectiveness of the proposed method in advancing real-world multi-modal multi-view action recognition.
• Abstract（参考訳）: マルチモーダル・マルチビュー・アクション認識は、コンピュータビジョンにおける急速に成長する分野であり、監視分野の応用に大きな可能性をもたらす。 しかしながら、現在のデータセットは、広範囲の環境条件、非同期データストリーム、フレームレベルのアノテーションの欠如など、現実の課題に対処できないことが多い。 さらに、既存の手法は、ビュー間の関係を効果的にモデル化し、空間的特徴学習を強化するのに困難に直面している。 本研究では,マルチモーダルなマルチビュー変換器を用いたセンサフュージョン(MultiTSF)手法を提案し,ホーム環境における総合的行動認識のための新しいベンチマークであるMultiSensor-Homeデータセットを提案する。 MultiSensor-Homeデータセットは、分散センサーによってキャプチャされた未トリミングビデオを備え、高解像度のRGBとオーディオデータと、詳細なマルチビューフレームレベルのアクションラベルを提供する。 提案するMultiTSF法は,ビュー間の関係を動的にモデル化するためにTransformerベースの融合機構を利用する。 さらに、外部人検出モジュールを統合し、空間的特徴学習を強化する。 MultiSensor-HomeとMM-Officeデータセットの実験は、最先端の手法よりもMultiTSFの方が優れていることを示す。 定量的および定性的な結果から,実世界のマルチモーダル多視点行動認識の進展における提案手法の有効性が示された。

関連論文リスト

• Dynamic Multimodal Fusion via Meta-Learning Towards Micro-Video Recommendation [97.82707398481273]
  メタマルチモーダルフュージョン(MetaMMF)と呼ばれるメタラーニングに基づく新しいマルチモーダルフュージョンフレームワークを開発する。 メタMMFは、入力タスクのマルチモーダル特徴から抽出されたメタ情報に基づいて、メタラーナを介して、アイテム固有の融合関数としてニューラルネットワークをパラメータ化する。 我々は3つのベンチマークデータセットに対して広範な実験を行い、最先端のマルチモーダルレコメンデーションモデルに対する大幅な改善を実証した。
  論文  参考訳（メタデータ） (2025-01-13T07:51:43Z)
• SM3Det: A Unified Model for Multi-Modal Remote Sensing Object Detection [73.49799596304418]
  本稿では,リモートセンシングのためのマルチモーダルデータセットとマルチタスクオブジェクト検出(M2Det)という新しいタスクを提案する。 水平方向または指向方向の物体を、あらゆるセンサーから正確に検出するように設計されている。 この課題は、1)マルチモーダルモデリングの管理に関わるトレードオフ、2)マルチタスク最適化の複雑さに起因する。
  論文  参考訳（メタデータ） (2024-12-30T02:47:51Z)
• SeaDATE: Remedy Dual-Attention Transformer with Semantic Alignment via Contrast Learning for Multimodal Object Detection [18.090706979440334]
  マルチモーダルオブジェクト検出は、様々なモーダル情報を活用して、検出器の精度と堅牢性を高める。 現在の方法では、トランスフォーマー誘導核融合技術は、ネットワークの様々な深さ層における特徴を抽出する能力を探ることなく、単純にスタック化されている。 本論文では,SeaDATEと呼ばれる高精度かつ効率的な物体検出手法を提案する。
  論文  参考訳（メタデータ） (2024-10-15T07:26:39Z)
• MANet: Fine-Tuning Segment Anything Model for Multimodal Remote Sensing Semantic Segmentation [8.443065903814821]
  本研究では,マルチモーダルリモートセマンティックセマンティックセマンティックセグメンテーションのための新しいマルチモーダルアダプタベースネットワーク(MANet)を提案する。 このアプローチのコアとなるのは、SAMのイメージエンコーダを微調整して、マルチモーダルデータに対するモデルの一般的な知識を効果的に活用するMultimodal Adapter(MMAdapter)の開発である。 この研究は、マルチモーダル核融合のための新しいネットワークを導入するだけでなく、SAMのDSM(Digital Surface Model)データによる強力な一般化能力も初めて示した。
  論文  参考訳（メタデータ） (2024-10-15T00:52:16Z)
• Uni$^2$Det: Unified and Universal Framework for Prompt-Guided Multi-dataset 3D Detection [64.08296187555095]
  Uni$2$Detは3D検出のための統一的で普遍的なマルチデータセットトレーニングのためのフレームワークである。 マルチデータセット3D検出のためのマルチステージプロンプトモジュールを提案する。 ゼロショットクロスデータセット転送の結果は,提案手法の一般化能力を検証する。
  論文  参考訳（メタデータ） (2024-09-30T17:57:50Z)
• MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
  実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。 近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。 SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
  論文  参考訳（メタデータ） (2024-04-13T13:39:26Z)
• Multi-view Aggregation Network for Dichotomous Image Segmentation [76.75904424539543]
  Dichotomous Image (DIS) は近年,高解像度自然画像からの高精度物体分割に向けて出現している。 既存の手法は、グローバルなローカライゼーションと局所的な洗練を徐々に完了させるために、退屈な複数のエンコーダ・デコーダストリームとステージに依存している。 これに触発されて、我々は多視点オブジェクト認識問題としてdisをモデル化し、擬似多視点アグリゲーションネットワーク(MVANet)を提供する。 一般的なdis-5Kデータセットの実験では、我々のMVANetは精度と速度の両方で最先端の手法を大きく上回っている。
  論文  参考訳（メタデータ） (2024-04-11T03:00:00Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Distilled Mid-Fusion Transformer Networks for Multi-Modal Human Activity Recognition [34.424960016807795]
  マルチモーダルなヒューマンアクティビティ認識は、補完的な情報を利用して、うまく一般化できるモデルを構築することができる。 深層学習法は有望な結果を示しており,有意な多モーダルな時空間特徴抽出の可能性は十分に検討されていない。 知識蒸留に基づくマルチモーダル・ミッドフュージョン・アプローチ(DMFT)を提案し,多モーダル・ヒューマンアクティビティ認識タスクを効率的に解決するために,情報的特徴抽出と融合を行う。
  論文  参考訳（メタデータ） (2023-05-05T19:26:06Z)
• Cross-Modality Fusion Transformer for Multispectral Object Detection [0.0]
  マルチスペクトル画像ペアは、組み合わせた情報を提供し、オブジェクト検出アプリケーションがより信頼性が高く、堅牢になる。 本論文では,CFT (Cross-Modality Fusion Transformer) という,単純かつ効果的なクロスモーダル機能融合手法を提案する。
  論文  参考訳（メタデータ） (2021-10-30T15:34:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。