論文の概要: Unified Contrastive Fusion Transformer for Multimodal Human Action Recognition

• arxiv url: http://arxiv.org/abs/2309.05032v1
• Date: Sun, 10 Sep 2023 14:10:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 14:56:48.079669
• Title: Unified Contrastive Fusion Transformer for Multimodal Human Action Recognition
• Title（参考訳）: マルチモーダルな人間行動認識のための統一コントラスト融合変換器
• Authors: Kyoung Ok Yang, Junho Koh, Jun Won Choi
• Abstract要約: 我々は、Unified Contrastive Fusion Transformer (UCFFormer)と呼ばれる新しいマルチモーダル核融合アーキテクチャを導入する。 UCFFormerは、人間の行動認識(HAR)性能を向上させるために、さまざまなディストリビューションとデータを統合する。 We present the Factorized Time-Modality Attention to perform self-attention for the Unified Transformer。
• 参考スコア（独自算出の注目度）: 13.104967563769533
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Various types of sensors have been considered to develop human action recognition (HAR) models. Robust HAR performance can be achieved by fusing multimodal data acquired by different sensors. In this paper, we introduce a new multimodal fusion architecture, referred to as Unified Contrastive Fusion Transformer (UCFFormer) designed to integrate data with diverse distributions to enhance HAR performance. Based on the embedding features extracted from each modality, UCFFormer employs the Unified Transformer to capture the inter-dependency among embeddings in both time and modality domains. We present the Factorized Time-Modality Attention to perform self-attention efficiently for the Unified Transformer. UCFFormer also incorporates contrastive learning to reduce the discrepancy in feature distributions across various modalities, thus generating semantically aligned features for information fusion. Performance evaluation conducted on two popular datasets, UTD-MHAD and NTU RGB+D, demonstrates that UCFFormer achieves state-of-the-art performance, outperforming competing methods by considerable margins.
• Abstract（参考訳）: 様々な種類のセンサーが人間の行動認識(HAR)モデルを開発すると考えられている。 異なるセンサが取得したマルチモーダルデータを融合することにより、ロバストなHAR性能を実現することができる。 本稿では,HAR性能を向上させるために,多様な分布にデータを統合するために設計された,Unified Contrastive Fusion Transformer (UCFFormer) と呼ばれる新しいマルチモーダル融合アーキテクチャを提案する。 それぞれのモダリティから抽出された埋め込み機能に基づいて、UCFFormerはUnified Transformerを使用して、時間とモダリティの両方のドメインにおける埋め込み間の依存性をキャプチャする。 本稿では,統一トランスの自己着脱を効率的に行うために,因子化時間モダリティに着目した。 UCFFormerはまた、コントラスト学習を取り入れて、様々なモダリティにまたがる特徴分布の差を減らし、情報融合のための意味的に整合した特徴を生成する。 2つの一般的なデータセット(UTD-MHADとNTU RGB+D)で実施された性能評価は、UCFFormerが最先端のパフォーマンスを達成し、競合する手法よりもかなり優れていることを示す。

関連論文リスト

• SeaDATE: Remedy Dual-Attention Transformer with Semantic Alignment via Contrast Learning for Multimodal Object Detection [18.090706979440334]
  マルチモーダルオブジェクト検出は、様々なモーダル情報を活用して、検出器の精度と堅牢性を高める。 現在の方法では、トランスフォーマー誘導核融合技術は、ネットワークの様々な深さ層における特徴を抽出する能力を探ることなく、単純にスタック化されている。 本論文では,SeaDATEと呼ばれる高精度かつ効率的な物体検出手法を提案する。
  論文  参考訳（メタデータ） (2024-10-15T07:26:39Z)
• Appformer: A Novel Framework for Mobile App Usage Prediction Leveraging Progressive Multi-Modal Data Fusion and Feature Extraction [9.53224378857976]
  Appformerは、Transformerのようなアーキテクチャの効率性に触発された、新しいモバイルアプリケーション予測フレームワークである。 このフレームワークは、ベースステーションに関連付けられたPoints of Interest(POI)を使用し、比較実験を通じてそれらを最適化し、最も効果的なクラスタリング方法を特定する。 特徴抽出モジュールは、時系列分析に特化したトランスフォーマーのようなアーキテクチャを採用しており、包括的機能を完全に排除している。
  論文  参考訳（メタデータ） (2024-07-28T06:41:31Z)
• Retain, Blend, and Exchange: A Quality-aware Spatial-Stereo Fusion Approach for Event Stream Recognition [57.74076383449153]
  本稿では,差分融合によるイベントストリームに基づくパターン認識のための新しいデュアルストリームフレームワークEFV++を提案する。 イベントイメージとイベントボクセルという2つの共通のイベント表現を同時にモデル化する。 Bullying10kデータセットで新しい最先端のパフォーマンス、すなわち90.51%$を達成し、2位を+2.21%$で上回る。
  論文  参考訳（メタデータ） (2024-06-27T02:32:46Z)
• Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
  本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。 任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。 AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
  論文  参考訳（メタデータ） (2024-05-06T11:02:02Z)
• Computation and Parameter Efficient Multi-Modal Fusion Transformer for Cued Speech Recognition [48.84506301960988]
  Cued Speech (CS) は、聴覚障害者が使用する純粋視覚符号化法である。 自動CS認識(ACSR)は、音声の視覚的手がかりをテキストに書き起こそうとする。
  論文  参考訳（メタデータ） (2024-01-31T05:20:29Z)
• Modality-Collaborative Transformer with Hybrid Feature Reconstruction for Robust Emotion Recognition [35.15390769958969]
  ハイブリッド特徴再構成(MCT-HFR)を用いた統一型モダリティ協調変換器を提案する。 MCT-HFRは、モダリティ内およびモダリティ間関係を同時に抽出し、動的にバランスをとる新しいアテンションベースのエンコーダで構成されている。 モデルトレーニング中、LFIは、完全特徴を監督信号として活用し、局所的欠落した特徴を回復する一方、GFAはペア完全表現と不完全表現のグローバルな意味的ギャップを減らすように設計されている。
  論文  参考訳（メタデータ） (2023-12-26T01:59:23Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• MMSFormer: Multimodal Transformer for Material and Semantic Segmentation [16.17270247327955]
  本稿では,異なるモダリティの組み合わせから情報を効果的に融合できる新しい融合戦略を提案する。 また,MMSFormer(Multi-Modal TransFormer)と呼ばれる新たなモデルを提案する。 MMSFormerは、現在の最先端モデルを3つの異なるデータセットで上回る。
  論文  参考訳（メタデータ） (2023-09-07T20:07:57Z)
• Transformer-based Network for RGB-D Saliency Detection [82.6665619584628]
  RGB-Dサリエンシ検出の鍵は、2つのモードにわたる複数のスケールで情報を完全なマイニングとヒューズすることである。 コンバータは機能融合と機能拡張の両面において高い有効性を示す一様操作であることを示す。 提案するネットワークは,最先端のRGB-D値検出手法に対して良好に動作する。
  論文  参考訳（メタデータ） (2021-12-01T15:53:58Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• Multidomain Multimodal Fusion For Human Action Recognition Using Inertial Sensors [1.52292571922932]
  入力モダリティの異なる領域から相補的特徴と相補的特徴を抽出する新しいマルチドメイン多モード融合フレームワークを提案する。 異なる領域の特徴は畳み込みニューラルネットワーク(CNN)によって抽出され、続いてCCF(Canonical correlation based Fusion)によって融合され、人間の行動認識の精度が向上する。
  論文  参考訳（メタデータ） (2020-08-22T03:46:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。