論文の概要: GestFormer: Multiscale Wavelet Pooling Transformer Network for Dynamic Hand Gesture Recognition

• arxiv url: http://arxiv.org/abs/2405.11180v1
• Date: Sat, 18 May 2024 05:16:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 19:07:29.600579
• Title: GestFormer: Multiscale Wavelet Pooling Transformer Network for Dynamic Hand Gesture Recognition
• Title（参考訳）: GestFormer:ダイナミックハンドジェスチャ認識のためのマルチスケールウェーブレットプール変圧器ネットワーク
• Authors: Mallika Garg, Debashis Ghosh, Pyari Mohan Pradhan,
• Abstract要約: トランスフォーマーモデルは、NLPや分類など、多くのアプリケーションで最先端の結果を得た。 動的手ジェスチャー認識のための新しいGestFormerアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 5.311735227179715
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Transformer model have achieved state-of-the-art results in many applications like NLP, classification, etc. But their exploration in gesture recognition task is still limited. So, we propose a novel GestFormer architecture for dynamic hand gesture recognition. The motivation behind this design is to propose a resource efficient transformer model, since transformers are computationally expensive and very complex. So, we propose to use a pooling based token mixer named PoolFormer, since it uses only pooling layer which is a non-parametric layer instead of quadratic attention. The proposed model also leverages the space-invariant features of the wavelet transform and also the multiscale features are selected using multi-scale pooling. Further, a gated mechanism helps to focus on fine details of the gesture with the contextual information. This enhances the performance of the proposed model compared to the traditional transformer with fewer parameters, when evaluated on dynamic hand gesture datasets, NVidia Dynamic Hand Gesture and Briareo datasets. To prove the efficacy of the proposed model, we have experimented on single as well multimodal inputs such as infrared, normals, depth, optical flow and color images. We have also compared the proposed GestFormer in terms of resource efficiency and number of operations. The source code is available at https://github.com/mallikagarg/GestFormer.
• Abstract（参考訳）: トランスフォーマーモデルは、NLPや分類など、多くのアプリケーションで最先端の結果を得た。 しかし、ジェスチャー認識タスクの探索はまだ限られている。 そこで我々は,動的手動ジェスチャー認識のための新しいGestFormerアーキテクチャを提案する。 この設計の背後にある動機は、トランスは計算コストが高く、非常に複雑であるため、資源効率の良いトランスモデルを提案することである。 そこで我々は,プール型トークンミキサーであるPoolFormerを提案する。 提案モデルではウェーブレット変換の空間不変特性も活用し,マルチスケールプーリングを用いてマルチスケール特徴を選択する。 さらに、ゲート機構は、コンテキスト情報によるジェスチャーの詳細な詳細に集中するのに役立ちます。 これにより、ダイナミックハンドジェスチャーデータセット、NVidia Dynamic Hand Gesture、Brareoデータセットで評価した場合、パラメータが少ない従来のトランスフォーマーと比較して、提案モデルの性能が向上する。 提案モデルの有効性を証明するため,赤外,正常,深度,光学的流れ,カラー画像などのマルチモーダル入力について実験を行った。 また,提案するGestFormerを,資源効率と操作数の観点から比較した。 ソースコードはhttps://github.com/mallikagarg/GestFormer.comで入手できる。

関連論文リスト

• Multimodal Pathway: Improve Transformers with Irrelevant Data from Other Modalities [56.666806962214565]
  我々は,他のモダリティからの無関係なデータを用いて,特定のモダリティのトランスフォーマーを改善することを提案する。 我々は、他のモダリティのデータで訓練された補助変圧器を使用し、2つのモデルのコンポーネントを接続するための経路を構築している。 我々は、他のモダリティの無関係なデータを用いて、顕著で一貫したパフォーマンス改善を観察する。
  論文  参考訳（メタデータ） (2024-01-25T18:59:58Z)
• Efficient Multi-scale Network with Learnable Discrete Wavelet Transform for Blind Motion Deblurring [25.36888929483233]
  そこで本研究では,シングルインプットとマルチアウトプット(SIMO)に基づくマルチスケールネットワークを提案する。 実世界の軌道特性を学習可能なウェーブレット変換モジュールと組み合わせて、ぼやけた画像から鋭い画像へのステップバイステップ遷移の方向連続性と周波数特性に着目した。
  論文  参考訳（メタデータ） (2023-12-29T02:59:40Z)
• Bi-directional Adapter for Multi-modal Tracking [67.01179868400229]
  汎用の双方向アダプタを用いたマルチモーダル視覚プロンプト追跡モデルを提案する。 我々は、モーダリティ固有の情報をあるモーダリティから別のモーダリティへ転送するための、シンプルだが効果的なライト・フィーチャー・アダプタを開発した。 本モデルでは,完全微調整法と素早い学習法の両方と比較して,追跡性能が優れている。
  論文  参考訳（メタデータ） (2023-12-17T05:27:31Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• ClusTR: Exploring Efficient Self-attention via Clustering for Vision Transformers [70.76313507550684]
  本稿では,密集自己注意の代替として,コンテンツに基づくスパースアテンション手法を提案する。 具体的には、合計トークン数を減少させるコンテンツベースの方法として、キーとバリュートークンをクラスタ化し、集約する。 結果として得られたクラスタ化されたTokenシーケンスは、元の信号のセマンティックな多様性を保持するが、より少ない計算コストで処理できる。
  論文  参考訳（メタデータ） (2022-08-28T04:18:27Z)
• Progressive Multi-stage Interactive Training in Mobile Network for Fine-grained Recognition [8.727216421226814]
  再帰型モザイク発電機(RMG-PMSI)を用いたプログレッシブ多段階インタラクティブトレーニング手法を提案する。 まず、異なる位相の異なる画像を生成する再帰モザイク発生器(RMG)を提案する。 次に、異なるステージの特徴は、異なるステージの対応する特徴を強化し補完するマルチステージインタラクション(MSI)モジュールを通過する。 RMG-PMSIは高い堅牢性と伝達性で性能を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2021-12-08T10:50:03Z)
• EAN: Event Adaptive Network for Enhanced Action Recognition [66.81780707955852]
  本稿では,映像コンテンツの動的性質を調査するための統合された行動認識フレームワークを提案する。 まず、局所的な手がかりを抽出する際に、動的スケールの時空間カーネルを生成し、多様な事象を適応的に適合させる。 第2に、これらのキューを正確にグローバルなビデオ表現に集約するために、トランスフォーマーによって選択されたいくつかの前景オブジェクト間のインタラクションのみをマイニングすることを提案する。
  論文  参考訳（メタデータ） (2021-07-22T15:57:18Z)
• Visual Saliency Transformer [127.33678448761599]
  RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。 イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。 実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
  論文  参考訳（メタデータ） (2021-04-25T08:24:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。