論文の概要: ConvMixFormer- A Resource-efficient Convolution Mixer for Transformer-based Dynamic Hand Gesture Recognition

• arxiv url: http://arxiv.org/abs/2411.07118v1
• Date: Mon, 11 Nov 2024 16:45:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:10:39.314728
• Title: ConvMixFormer- A Resource-efficient Convolution Mixer for Transformer-based Dynamic Hand Gesture Recognition
• Title（参考訳）: ConvMixFormer - トランスフォーマーを用いた動的手指ジェスチャー認識のための資源効率の良い畳み込みミキサ
• Authors: Mallika Garg, Debashis Ghosh, Pyari Mohan Pradhan,
• Abstract要約: 動的ハンドジェスチャのための新しいConvMixFormerアーキテクチャを探索し,考案する。 提案手法は,NVidia Dynamic Hand Gesture と Briareo のデータセットを用いて評価する。 我々のモデルは、単一およびマルチモーダル入力に対して最先端の結果を得た。
• 参考スコア（独自算出の注目度）: 5.311735227179715
• License:
• Abstract: Transformer models have demonstrated remarkable success in many domains such as natural language processing (NLP) and computer vision. With the growing interest in transformer-based architectures, they are now utilized for gesture recognition. So, we also explore and devise a novel ConvMixFormer architecture for dynamic hand gestures. The transformers use quadratic scaling of the attention features with the sequential data, due to which these models are computationally complex and heavy. We have considered this drawback of the transformer and designed a resource-efficient model that replaces the self-attention in the transformer with the simple convolutional layer-based token mixer. The computational cost and the parameters used for the convolution-based mixer are comparatively less than the quadratic self-attention. Convolution-mixer helps the model capture the local spatial features that self-attention struggles to capture due to their sequential processing nature. Further, an efficient gate mechanism is employed instead of a conventional feed-forward network in the transformer to help the model control the flow of features within different stages of the proposed model. This design uses fewer learnable parameters which is nearly half the vanilla transformer that helps in fast and efficient training. The proposed method is evaluated on NVidia Dynamic Hand Gesture and Briareo datasets and our model has achieved state-of-the-art results on single and multimodal inputs. We have also shown the parameter efficiency of the proposed ConvMixFormer model compared to other methods. The source code is available at https://github.com/mallikagarg/ConvMixFormer.
• Abstract（参考訳）: トランスフォーマーモデルは自然言語処理(NLP)やコンピュータビジョンなど多くの領域で顕著な成功を収めている。 トランスフォーマーベースのアーキテクチャへの関心が高まり、ジェスチャ認識に利用されるようになった。 そこで我々は,動的ハンドジェスチャのための新しいConvMixFormerアーキテクチャを探求し,考案した。 変換器は、これらのモデルが計算的に複雑で重くなるため、シーケンシャルなデータで注意特徴の2次スケーリングを使用する。 我々は、トランスのこの欠点を考察し、トランスの自己アテンションを単純な畳み込み層ベースのトークンミキサーに置き換えるリソース効率のモデルを構築した。 畳み込みベースのミキサーに使用される計算コストとパラメータは、二次的な自己注意よりも比較的少ない。 畳み込みミキサーは、モデルが連続的な処理の性質のために、自己注意が捉えようとする局所的な特徴を捉えるのに役立つ。 さらに、トランスにおける従来のフィードフォワードネットワークの代わりに効率的なゲート機構を用いて、モデルが提案するモデルの異なる段階における特徴のフローを制御するのを助ける。 この設計では、学習可能なパラメータが少ないため、バニラ変圧器の半分近くが高速で効率的なトレーニングに役立ちます。 提案手法は,NVidia Dynamic Hand Gesture と Briareo のデータセットを用いて評価され,本モデルは単一およびマルチモーダル入力に対して最先端の結果を得た。 また,提案したConvMixFormerモデルのパラメータ効率を他の手法と比較した。 ソースコードはhttps://github.com/mallikagarg/ConvMixFormer.comで入手できる。

関連論文リスト

• Transformers to SSMs: Distilling Quadratic Knowledge to Subquadratic Models [92.36510016591782]
  本稿では,事前学習したトランスフォーマーアーキテクチャを,状態空間モデル(SSM)などの代替アーキテクチャに蒸留する手法を提案する。 提案手法はMOHAWKと呼ばれ、3Bトークンと5Bトークンを用いたハイブリッドバージョン(Hybrid Phi-Mamba)を用いてPhi-1.5アーキテクチャに基づくMamba-2変異体を蒸留することができる。 Phi-Mambaは、スクラッチからモデルのトレーニングに使用されるトレーニングデータの1%未満を使用してはいるが、過去のオープンソース非トランスフォーマーモデルと比較して、大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-08-19T17:48:11Z)
• MoEUT: Mixture-of-Experts Universal Transformers [75.96744719516813]
  ユニバーサルトランスフォーマー(UT)は、合成一般化の学習において標準トランスフォーマーよりも有利である。 層共有は、同じ次元を持つ非共有モデルと比較してパラメータ数を大幅に削減する。 従来の作業では、言語モデリングのようなパラメータ数の支配的なタスクと競合する共有層トランスフォーマー設計の提案に成功しなかった。
  論文  参考訳（メタデータ） (2024-05-25T03:24:32Z)
• GestFormer: Multiscale Wavelet Pooling Transformer Network for Dynamic Hand Gesture Recognition [5.311735227179715]
  トランスフォーマーモデルは、NLPや分類など、多くのアプリケーションで最先端の結果を得た。 動的手ジェスチャー認識のための新しいGestFormerアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-05-18T05:16:32Z)
• Shifted Chunk Transformer for Spatio-Temporal Representational Learning [24.361059477031162]
  我々は、純粋な自己注意ブロックを持つシフトチャンク変換器を構築する。 このトランスフォーマーは、小さなパッチからグローバルなビデオクリップまで、階層的な時間的特徴を学習することができる。 Kinetics, Kinetics-600, UCF101, HMDB51の最先端のアプローチより優れている。
  論文  参考訳（メタデータ） (2021-08-26T04:34:33Z)
• Visformer: The Vision-friendly Transformer [105.52122194322592]
  我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。 同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
  論文  参考訳（メタデータ） (2021-04-26T13:13:03Z)
• Visual Saliency Transformer [127.33678448761599]
  RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。 イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。 実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
  論文  参考訳（メタデータ） (2021-04-25T08:24:06Z)
• Parameter Efficient Multimodal Transformers for Video Representation Learning [108.8517364784009]
  本研究は,映像表現学習におけるマルチモーダルトランスフォーマーのパラメータの削減に焦点をあてる。 このアプローチではパラメータを80$%まで削減し、モデルのエンドツーエンドをスクラッチからトレーニングできるようにしています。 本研究では,Kinetics-700から30秒のクリップをプレトレーニングし,それを音声視覚分類タスクに転送する。
  論文  参考訳（メタデータ） (2020-12-08T00:16:13Z)
• Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks [75.69896269357005]
  Mixupは、入力例と対応するラベルを線形に補間する最新のデータ拡張技術である。 本稿では,自然言語処理タスクにmixupを適用する方法について検討する。 我々は、様々なNLPタスクに対して、mixup-transformerと呼ばれる、トランスフォーマーベースの事前学習アーキテクチャにmixupを組み込んだ。
  論文  参考訳（メタデータ） (2020-10-05T23:37:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。