論文の概要: SigFormer: Sparse Signal-Guided Transformer for Multi-Modal Human Action Segmentation

• arxiv url: http://arxiv.org/abs/2311.17428v2
• Date: Mon, 26 Aug 2024 10:49:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 00:46:25.298626
• Title: SigFormer: Sparse Signal-Guided Transformer for Multi-Modal Human Action Segmentation
• Title（参考訳）: SigFormer:マルチモーダル・ヒューマン・アクション・セグメンテーションのためのスパース信号誘導変換器
• Authors: Qi Liu, Xinchen Liu, Kun Liu, Xiaoyan Gu, Wu Liu,
• Abstract要約: 信号誘導変換器(SigFormer)を導入し,高密度信号とスパース信号を組み合わせた。 スパース信号は離散的であるため、時間的作用境界に関する十分な情報がない。 SigFormerは、実産業環境からのマルチモーダルアクションセグメンテーションデータセットにおける最先端のアプローチよりも優れています。
• 参考スコア（独自算出の注目度）: 34.176963661707696
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal human action segmentation is a critical and challenging task with a wide range of applications. Nowadays, the majority of approaches concentrate on the fusion of dense signals (i.e., RGB, optical flow, and depth maps). However, the potential contributions of sparse IoT sensor signals, which can be crucial for achieving accurate recognition, have not been fully explored. To make up for this, we introduce a Sparse signalguided Transformer (SigFormer) to combine both dense and sparse signals. We employ mask attention to fuse localized features by constraining cross-attention within the regions where sparse signals are valid. However, since sparse signals are discrete, they lack sufficient information about the temporal action boundaries. Therefore, in SigFormer, we propose to emphasize the boundary information at two stages to alleviate this problem. In the first feature extraction stage, we introduce an intermediate bottleneck module to jointly learn both category and boundary features of each dense modality through the inner loss functions. After the fusion of dense modalities and sparse signals, we then devise a two-branch architecture that explicitly models the interrelationship between action category and temporal boundary. Experimental results demonstrate that SigFormer outperforms the state-of-the-art approaches on a multi-modal action segmentation dataset from real industrial environments, reaching an outstanding F1 score of 0.958. The codes and pre-trained models have been available at https://github.com/LIUQI-creat/SigFormer.
• Abstract（参考訳）: マルチモーダルなヒューマンアクションセグメンテーションは、幅広い応用において重要かつ困難な課題である。 今日では、ほとんどのアプローチは高密度信号(RGB、光フロー、深度マップなど)の融合に集中している。 しかし、正確な認識を実現する上で重要な、スパースIoTセンサ信号の潜在的な貢献は、完全には調査されていない。 これを解決するために、密集信号と疎合信号を組み合わせたスパース信号誘導変換器(SigFormer)を導入する。 我々は、スパース信号が有効である領域内での交差注意を制限し、局所的特徴を融合させるマスク注意を用いる。 しかし、スパース信号は離散的であるため、時間的行動境界に関する十分な情報がない。 そこで,SigFormerでは,この問題を軽減するために2段階の境界情報を強調することを提案する。 第1の特徴抽出段階では、内部損失関数を通して各密度モードのカテゴリと境界特性を共同で学習する中間ボトルネックモジュールを導入する。 密度変調とスパース信号の融合後、動作圏と時間境界の間の相互関係を明示的にモデル化する2分岐アーキテクチャを考案する。 実験の結果,SigFormerは実産業環境からのマルチモーダルアクションセグメンテーションデータセットにおける最先端のアプローチよりも優れており,F1スコア0.958に達した。 コードと事前訓練されたモデルはhttps://github.com/LIUQI-creat/SigFormer.comで公開されている。

関連論文リスト

• DiffVein: A Unified Diffusion Network for Finger Vein Segmentation and Authentication [50.017055360261665]
  DiffVeinは、静脈分割と認証タスクを同時に処理する統合拡散モデルベースのフレームワークである。 これら2つのブランチ間の機能相互作用を改善するために,2つの特別なモジュールを導入する。 このようにして、我々のフレームワークは拡散とセグメンテーションの埋め込みの間の動的相互作用を可能にする。
  論文  参考訳（メタデータ） (2024-02-03T06:49:42Z)
• TACOformer:Token-channel compounded Cross Attention for Multimodal Emotion Recognition [0.951828574518325]
  本稿では,チャネルレベルとトークンレベルの相互通信を統合したマルチモーダル融合の包括的視点を提案する。 具体的には,Token-chAnnel Compound (TACO) Cross Attentionというクロスアテンションモジュールを導入する。 また,脳波信号チャネルの空間分布に関する情報を保存するための2次元位置符号化手法を提案する。
  論文  参考訳（メタデータ） (2023-06-23T16:28:12Z)
• Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
  マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。 具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
  論文  参考訳（メタデータ） (2023-05-17T14:30:11Z)
• RGBT Tracking via Progressive Fusion Transformer with Dynamically Guided Learning [37.067605349559]
  本稿ではProFormerと呼ばれる新しいプログレッシブフュージョントランスを提案する。 単一のモダリティ情報をマルチモーダル表現に統合し、堅牢なRGBT追跡を行う。 ProFormerは、RGBT210、RGBT234、LasHeR、VTUAVデータセットに新しい最先端パフォーマンスを設定する。
  論文  参考訳（メタデータ） (2023-03-26T16:55:58Z)
• HiDAnet: RGB-D Salient Object Detection via Hierarchical Depth Awareness [2.341385717236931]
  本稿では,RGB-Dサリエンシ検出のための階層的深度認識ネットワーク(HiDAnet)を提案する。 我々のモチベーションは、幾何学的先行の多粒性特性がニューラルネットワーク階層とよく相関しているという観察から来ています。 当社のHiDAnetは最先端の手法よりも大きなマージンで良好に動作します。
  論文  参考訳（メタデータ） (2023-01-18T10:00:59Z)
• Video Semantic Segmentation with Inter-Frame Feature Fusion and Inner-Frame Feature Refinement [39.06589186472675]
  マルチフレーム特徴量間の密接なペア関係をモデル化するための時空間融合(STF)モジュールを提案する。 さらに,セマンティックバウンダリ間の困難な予測に対処するために,メモリ拡張改良(MAR)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-01-10T07:57:05Z)
• Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient Object Detection [67.33924278729903]
  本研究では,Dual Swin-Transformerを用いたMutual Interactive Networkを提案する。 視覚入力における長距離依存をモデル化するために,RGBと奥行きモードの両方の機能抽出器としてSwin-Transformerを採用している。 5つの標準RGB-D SODベンチマークデータセットに関する総合的な実験は、提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2022-06-07T08:35:41Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)
• Multi-scale Interactive Network for Salient Object Detection [91.43066633305662]
  本稿では,隣接レベルからの機能を統合するためのアグリゲート・インタラクション・モジュールを提案する。 より効率的なマルチスケール機能を得るために、各デコーダユニットに自己相互作用モジュールを埋め込む。 5つのベンチマークデータセットによる実験結果から,提案手法は後処理を一切行わず,23の最先端手法に対して良好に動作することが示された。
  論文  参考訳（メタデータ） (2020-07-17T15:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。