論文の概要: FusionEnsemble-Net: An Attention-Based Ensemble of Spatiotemporal Networks for Multimodal Sign Language Recognition

• arxiv url: http://arxiv.org/abs/2508.09362v1
• Date: Tue, 12 Aug 2025 21:44:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.698339
• Title: FusionEnsemble-Net: An Attention-Based Ensemble of Spatiotemporal Networks for Multimodal Sign Language Recognition
• Title（参考訳）: FusionEnsemble-Net:マルチモーダル手話認識のための時空間ネットワークのアテンションに基づくアンサンブル
• Authors: Md. Milon Islam, Md Rezwanul Haque, S M Taslim Uddin Raju, Fakhri Karray,
• Abstract要約: FusionEnsemble-Netは、認識精度を高めるために視覚および運動データを融合する、注意に基づくネットワークのアンサンブルである。 実験の結果、FusionEnsemble-Netは99.44%の精度で最先端のアプローチより優れていることが示された。
• 参考スコア（独自算出の注目度）: 1.3499500088995462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate recognition of sign language in healthcare communication poses a significant challenge, requiring frameworks that can accurately interpret complex multimodal gestures. To deal with this, we propose FusionEnsemble-Net, a novel attention-based ensemble of spatiotemporal networks that dynamically fuses visual and motion data to enhance recognition accuracy. The proposed approach processes RGB video and range Doppler map radar modalities synchronously through four different spatiotemporal networks. For each network, features from both modalities are continuously fused using an attention-based fusion module before being fed into an ensemble of classifiers. Finally, the outputs of these four different fused channels are combined in an ensemble classification head, thereby enhancing the model's robustness. Experiments demonstrate that FusionEnsemble-Net outperforms state-of-the-art approaches with a test accuracy of 99.44% on the large-scale MultiMeDaLIS dataset for Italian Sign Language. Our findings indicate that an ensemble of diverse spatiotemporal networks, unified by attention-based fusion, yields a robust and accurate framework for complex, multimodal isolated gesture recognition tasks. The source code is available at: https://github.com/rezwanh001/Multimodal-Isolated-Italian-Sign-Language-Recognition.
• Abstract（参考訳）: 医療コミュニケーションにおける手話の正確な認識は重要な課題であり、複雑なマルチモーダルジェスチャーを正確に解釈できるフレームワークが必要である。 これに対応するためにFusionEnsemble-Netを提案する。これは、視覚と運動のデータを動的に融合して認識精度を高める、新しいアテンションベースの時空間ネットワークのアンサンブルである。 提案手法は、RGBビデオとレンジドップラーマップレーダを4つの異なる時空間ネットワークを介して同期的に処理する。 各ネットワークに対して、両方のモダリティの特徴は、アテンションベースの融合モジュールを使用して連続的に融合され、その後、分類器のアンサンブルに入力される。 最後に、これら4つの異なる融合チャネルの出力をアンサンブル分類ヘッドに結合することにより、モデルの堅牢性を高める。 FusionEnsemble-Netは、イタリア手話のための大規模MultiMeDaLISデータセットにおいて、テスト精度99.44%で最先端のアプローチより優れていることを示した。 注意に基づく融合によって統合された多様な時空間ネットワークのアンサンブルは、複雑でマルチモーダルなジェスチャー認識タスクに対して、堅牢で正確な枠組みをもたらすことが示唆された。 ソースコードは、https://github.com/rezwanh001/Multimodal-Isolated-Italian-Sign-Language-Recognitionで公開されている。

関連論文リスト

• A-MESS: Anchor based Multimodal Embedding with Semantic Synchronization for Multimodal Intent Recognition [3.4568313440884837]
  セマンティックシンクロナイゼーション(A-MESS)フレームワークを用いたアンカーベースのマルチモーダル埋め込みを提案する。 まず、アンカーベースの埋め込み融合機構を用いてマルチモーダル入力を統合するアンカーベースのマルチモーダル埋め込み(A-ME)モジュールを設計する。 我々は,マルチモーダル表現とラベル記述を同期させることにより,プロセスの最適化を行う,Triplet Contrastive Learning Pipelineを用いたセマンティックシンクロナイゼーション(SS)戦略を開発した。
  論文  参考訳（メタデータ） (2025-03-25T09:09:30Z)
• Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
  マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。 具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
  論文  参考訳（メタデータ） (2023-05-17T14:30:11Z)
• LMR-CBT: Learning Modality-fused Representations with CB-Transformer for Multimodal Emotion Recognition from Unaligned Multimodal Sequences [5.570499497432848]
  マルチモーダル感情認識のためのCB-Transformer (LMR-CBT) を用いて, モダリティ融合表現を学習するための効率的なニューラルネットワークを提案する。 3つの挑戦的なデータセット上で、単語整列と非整列の実験を行います。
  論文  参考訳（メタデータ） (2021-12-03T03:43:18Z)
• Sign Language Recognition via Skeleton-Aware Multi-Model Ensemble [71.97020373520922]
  手話は一般的に、聴覚障害者やミュート人がコミュニケーションするために使われる。 孤立手話認識(SLR)のためのGlobal Ensemble Model(GEM)を用いた新しいマルチモーダルフレームワークを提案する。 提案するSAM-SLR-v2 フレームワークは極めて有効であり,最先端の性能を高いマージンで達成している。
  論文  参考訳（メタデータ） (2021-10-12T16:57:18Z)
• Specificity-preserving RGB-D Saliency Detection [103.3722116992476]
  本稿では,RGB-Dサリエンシ検出のための特異性保存ネットワーク(SP-Net)を提案する。 2つのモダリティ特化ネットワークと共有学習ネットワークを採用し、個別および共有唾液マップを生成する。 6つのベンチマークデータセットの実験では、SP-Netは他の最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2021-08-18T14:14:22Z)
• FiLMing Multimodal Sarcasm Detection with Attention [0.7340017786387767]
  サルカスムの検出は、意図された意味がその表面的な意味によって示されるものと異なる自然言語表現を特定する。 本稿では,入力テキストと画像属性のコンテキスト不整合を組み込むために,RoBERTaモデルとコアテンション層を用いた新しいアーキテクチャを提案する。 提案手法は,Twitterのマルチモーダル検出データセットの6.14%のF1スコアにおいて,既存の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-09T06:33:29Z)
• Encoder Fusion Network with Co-Attention Embedding for Referring Image Segmentation [87.01669173673288]
  本稿では,視覚的エンコーダをマルチモーダルな特徴学習ネットワークに変換するエンコーダ融合ネットワーク(EFN)を提案する。 EFNには、マルチモーダル機能の並列更新を実現するコアテンションメカニズムが組み込まれている。 4つのベンチマークデータセットによる実験結果から,提案手法がポストプロセッシングを伴わずに最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-05-05T02:27:25Z)
• Searching Multi-Rate and Multi-Modal Temporal Enhanced Networks for Gesture Recognition [89.0152015268929]
  RGB-Dジェスチャ認識のための最初のニューラルアーキテクチャサーチ(NAS)手法を提案する。 提案手法は,1)3次元中央差分畳畳み込み(3D-CDC)ファミリーによる時間的表現の強化,および多モードレート分岐と横方向接続のための最適化されたバックボーンを含む。 結果として得られたマルチレートネットワークは、RGBと深さ変調と時間力学の関係を理解するための新しい視点を提供する。
  論文  参考訳（メタデータ） (2020-08-21T10:45:09Z)
• Spatial-Temporal Multi-Cue Network for Continuous Sign Language Recognition [141.24314054768922]
  本稿では、視覚に基づくシーケンス学習問題を解決するために、時空間マルチキュー(STMC)ネットワークを提案する。 有効性を検証するため、3つの大規模CSLRベンチマークで実験を行った。
  論文  参考訳（メタデータ） (2020-02-08T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。