論文の概要: Continuous Sign Language Recognition Using Intra-inter Gloss Attention

• arxiv url: http://arxiv.org/abs/2406.18333v1
• Date: Wed, 26 Jun 2024 13:21:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 13:29:21.658411
• Title: Continuous Sign Language Recognition Using Intra-inter Gloss Attention
• Title（参考訳）: 内部グロス注意を用いた連続手話認識
• Authors: Hossein Ranjbar, Alireza Taheri,
• Abstract要約: 本研究では,手話認識研究において,インター・グロス・アテンション・モジュール(inter-inter gloss attention module)と呼ばれる新しいモジュールを導入する。 グロス内注目モジュールでは、動画を等サイズのチャンクに分割し、各チャンク内に自己注意機構を適用する。 PHOENIX-2014ベンチマークデータセットの実験結果から,本手法が手話の特徴をエンドツーエンドで効果的に抽出できることが示されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Many continuous sign language recognition (CSLR) studies adopt transformer-based architectures for sequence modeling due to their powerful capacity for capturing global contexts. Nevertheless, vanilla self-attention, which serves as the core module of the transformer, calculates a weighted average over all time steps; therefore, the local temporal semantics of sign videos may not be fully exploited. In this study, we introduce a novel module in sign language recognition studies, called intra-inter gloss attention module, to leverage the relationships among frames within glosses and the semantic and grammatical dependencies between glosses in the video. In the intra-gloss attention module, the video is divided into equally sized chunks and a self-attention mechanism is applied within each chunk. This localized self-attention significantly reduces complexity and eliminates noise introduced by considering non-relative frames. In the inter-gloss attention module, we first aggregate the chunk-level features within each gloss chunk by average pooling along the temporal dimension. Subsequently, multi-head self-attention is applied to all chunk-level features. Given the non-significance of the signer-environment interaction, we utilize segmentation to remove the background of the videos. This enables the proposed model to direct its focus toward the signer. Experimental results on the PHOENIX-2014 benchmark dataset demonstrate that our method can effectively extract sign language features in an end-to-end manner without any prior knowledge, improve the accuracy of CSLR, and achieve the word error rate (WER) of 20.4 on the test set which is a competitive result compare to the state-of-the-art which uses additional supervisions.
• Abstract（参考訳）: 多くの連続手話認識(CSLR)研究は、グローバルコンテキストを捕捉する強力な能力のため、シーケンスモデリングにトランスフォーマーベースのアーキテクチャを採用する。 それでも、トランスのコアモジュールとして機能するバニラ自己注意は、すべての時間ステップで重み付け平均を計算するため、手話ビデオの局所的時間的意味論は十分に活用されない。 本研究では,グルース内のフレーム間の関係とビデオ内のグルース間の意味的および文法的依存関係を活用するために,イントラインター・グロース・アテンション・モジュール(inter-inter gloss attention module)と呼ばれる手話認識研究における新しいモジュールを提案する。 グロス内注目モジュールでは、動画を等サイズのチャンクに分割し、各チャンク内に自己注意機構を適用する。 この局所的な自己アテンションは複雑さを著しく減らし、非相対的フレームを考慮することによって生じるノイズを除去する。 グロス間アテンションモジュールでは、まず時間次元に沿って平均プールすることで、各グロスチャンク内のチャンクレベルの特徴を集約する。 その後、すべてのチャンクレベルの機能にマルチヘッド自己注意が適用される。 シグナーと環境の相互作用が重要でないことを考慮し、セグメンテーションを用いてビデオの背景を除去する。 これにより、提案されたモデルはシグナーに焦点を向けることができる。 PHOENIX-2014ベンチマークデータセットを用いた実験結果から,従来の知識を使わずに手話の特徴をエンドツーエンドに抽出し,CSLRの精度を向上し,テストセット上で20.4の単語誤り率(WER)を達成することができた。

関連論文リスト

• ResCLIP: Residual Attention for Training-free Dense Vision-language Inference [27.551367463011008]
  CLIPの非最終層における自己注意の相互相関も局在特性を示す。 本稿では, 中間層からの相互相関自己アテンションを利用して, 最終ブロックの注意を再認識するResidual Cross-correlation Self-attention (RCS) モジュールを提案する。 RCSモジュールは空間情報を効果的に再構成し、高密度視覚言語推論のためのCLIP内の局在電位を解放する。
  論文  参考訳（メタデータ） (2024-11-24T14:14:14Z)
• Linguistic-Based Mild Cognitive Impairment Detection Using Informative Loss [2.8893654860442872]
  我々は,I-CONECT研究プロジェクト内で収集された映像インタビューから生成されたテキストを解析するフレームワークを提案する。 我々のフレームワークは、平均面積84.75%のMCIとNCを区別することができる。
  論文  参考訳（メタデータ） (2024-01-23T16:30:22Z)
• Self-Sufficient Framework for Continuous Sign Language Recognition [75.60327502570242]
  この作業の目標は、継続的手話認識のための自己充足型のフレームワークを開発することです。 これには、理解のための手、顔、口などの複雑なマルチスケール機能、フレームレベルのアノテーションの欠如が含まれる。 ネットワークやアノテーションを必要とせずに手動と非手動の両方の機能を抽出するDivide and Focus Convolution (DFConv)を提案する。 DPLRは、基底真理グロスシーケンスラベルと予測シーケンスを組み合わせることにより、非スパイクフレームレベルの擬似ラベルを伝搬する。
  論文  参考訳（メタデータ） (2023-03-21T11:42:57Z)
• USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text Retrieval [115.28586222748478]
  Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。 既存のアプローチは通常、2つの大きな制限に悩まされる。
  論文  参考訳（メタデータ） (2023-01-17T12:42:58Z)
• Improving Continuous Sign Language Recognition with Consistency Constraints and Signer Removal [24.537234147678113]
  CSLRバックボーンを強化するために,3つの補助タスクを提案する。 視覚モジュールを強制するために、キーポイント誘導空間アテンションモジュールを開発する。 視覚モジュールとシーケンシャルモジュールの間には、文埋め込み一貫性制約が課される。 本モデルでは,5つのベンチマークで最先端または競争性能を実現する。
  論文  参考訳（メタデータ） (2022-12-26T06:38:34Z)
• Compositional Generalization in Grounded Language Learning via Induced Model Sparsity [81.38804205212425]
  グリッド環境における単純な言語条件のナビゲーション問題について考察する。 本研究では,オブジェクトの指示文と属性のスパース相関を助長するエージェントを設計し,それらを組み合わせて目的を導出する。 我々のエージェントは、少数のデモンストレーションから学習した場合でも、新しいプロパティの組み合わせを含む目標に対して高いレベルのパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2022-07-06T08:46:27Z)
• Exploring Intra- and Inter-Video Relation for Surgical Semantic Scene Segmentation [58.74791043631219]
  セグメンテーション性能を高めるために,映像内および映像間関係を補完する新しいフレームワークSTswinCLを提案する。 本研究では,EndoVis18 ChallengeとCaDISデータセットを含む2つの公開手術ビデオベンチマークに対するアプローチを広く検証する。 実験により,従来の最先端手法を一貫して超越した提案手法の有望な性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T05:52:23Z)
• TSPNet: Hierarchical Feature Learning via Temporal Semantic Pyramid for Sign Language Translation [101.6042317204022]
  手話翻訳(SLT)は、手話のシーケンスをテキストベースの自然言語文に解釈することを目的としている。 既存のSLTモデルは通常、手話の視覚的特徴をフレーム的に表現する。 我々は,TSPNetと呼ばれる時間的意味ピラミッドネットワークを用いて,新しい階層的な手話ビデオ特徴学習手法を開発した。
  論文  参考訳（メタデータ） (2020-10-12T05:58:09Z)
• IAUnet: Global Context-Aware Feature Learning for Person Re-Identification [106.50534744965955]
  IAUブロックは、グローバル空間、時間、チャネルコンテキストを組み込むことができる。 軽量でエンドツーエンドのトレーニングが可能で、既存のCNNに簡単に接続してIAUnetを形成することができる。 実験の結果、IAUnetは画像とビデオの両方で最先端のreIDタスクに対して好意的に機能することがわかった。
  論文  参考訳（メタデータ） (2020-09-02T13:07:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。