論文の概要: Online Gesture Recognition using Transformer and Natural Language Processing

• arxiv url: http://arxiv.org/abs/2305.03407v1
• Date: Fri, 5 May 2023 10:17:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-08 14:30:22.658374
• Title: Online Gesture Recognition using Transformer and Natural Language Processing
• Title（参考訳）: トランスフォーマーと自然言語処理を用いたオンラインジェスチャー認識
• Authors: G.C.M. Silvestre, F. Balado, O. Akinremi and M. Ramo
• Abstract要約: トランスフォーマーアーキテクチャは、自然言語文のグリフストロークに対応するオンラインジェスチャーのための強力なマシンフレームワークを提供する。 トランスフォーマーアーキテクチャは、自然言語文のグリフストロークに対応するオンラインジェスチャーのための強力なマシンフレームワークを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Transformer architecture is shown to provide a powerful machine transduction framework for online handwritten gestures corresponding to glyph strokes of natural language sentences. The attention mechanism is successfully used to create latent representations of an end-to-end encoder-decoder model, solving multi-level segmentation while also learning some language features and syntax rules. The additional use of a large decoding space with some learned Byte-Pair-Encoding (BPE) is shown to provide robustness to ablated inputs and syntax rules. The encoder stack was directly fed with spatio-temporal data tokens potentially forming an infinitely large input vocabulary, an approach that finds applications beyond that of this work. Encoder transfer learning capabilities is also demonstrated on several languages resulting in faster optimisation and shared parameters. A new supervised dataset of online handwriting gestures suitable for generic handwriting recognition tasks was used to successfully train a small transformer model to an average normalised Levenshtein accuracy of 96% on English or German sentences and 94% in French.
• Abstract（参考訳）: トランスフォーマーアーキテクチャは、自然言語文のグリフストロークに対応するオンライン手書きジェスチャのための強力な機械変換フレームワークを提供する。 アテンションメカニズムは、エンド・ツー・エンドエンコーダ・デコーダモデルの潜在表現の作成に成功し、複数のレベルのセグメンテーションを解決し、言語の特徴や構文規則も学習する。 学習バイトペアエンコーディング(bpe)を用いた大きなデコーディング空間の追加使用は、アブレーションされた入力と構文規則に堅牢性をもたらすことが示されている。 エンコーダスタックに直接時空間のデータトークンが供給され、無限大の入力語彙を形成する可能性がある。 エンコーダ転送学習能力は、より高速な最適化と共有パラメータをもたらす複数の言語で実証される。 汎用手書き認識タスクに適したオンライン手書きジェスチャーの新しい教師付きデータセットを使用して、小さなトランスフォーマーモデルを英語やドイツ語の文で平均96%、フランス語で94%の精度でトレーニングした。

関連論文リスト

• T2S-GPT: Dynamic Vector Quantization for Autoregressive Sign Language Production from Text [59.57676466961787]
  本稿では,手話における情報密度に基づいて符号化長を調整できる新しい動的ベクトル量子化(DVA-VAE)モデルを提案する。 PHOENIX14Tデータセットを用いて実験を行い,提案手法の有効性を示した。 我々は,486時間の手話ビデオ,音声,文字起こしテキストを含むドイツ語手話データセットPHOENIX-Newsを提案する。
  論文  参考訳（メタデータ） (2024-06-11T10:06:53Z)
• A Transformer Architecture for Online Gesture Recognition of Mathematical Expressions [0.0]
  トランスフォーマーアーキテクチャは、グリフストロークに対応するオンライン手書きジェスチャーから表現木を構築するためのエンドツーエンドモデルを提供する。 注意機構は、表現の基本的な構文をエンコードし、学習し、強制するためにうまく利用された。 エンコーダは初めて、目に見えないオンラインの時間的データトークンによって、無限に大きな語彙を形成します。
  論文  参考訳（メタデータ） (2022-11-04T17:55:55Z)
• XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding [73.24847320536813]
  本研究では,事前学習したマルチモーダル変換器から事前学習した言語エンコーダへの視覚情報の蒸留について検討する。 我々のフレームワークは,NLUの言語重み特性に適応するために学習目標を変更する一方で,視覚言語タスクにおけるクロスモーダルエンコーダの成功にインスパイアされている。
  論文  参考訳（メタデータ） (2022-04-15T03:44:00Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• Multilingual Speech Recognition for Low-Resource Indian Languages using Multi-Task conformer [4.594159253008448]
  インド語の低リソース多言語音声認識のためのマルチタスク学習に基づくトランスフォーマモデルを提案する。 音素認識タスクには音素デコーダ,グラフ素シーケンス予測には音素デコーダを用いる。 提案手法は従来の手法よりも大幅に改善できる。
  論文  参考訳（メタデータ） (2021-08-22T09:32:15Z)
• A Dual-Decoder Conformer for Multilingual Speech Recognition [4.594159253008448]
  本研究は,インド語に対する低リソース多言語音声認識のためのデュアルデコーダ変換モデルを提案する。 音素認識タスクにはPHN-DEC,言語情報にはGRP-DECを用いる。 実験の結果,ベースラインアプローチよりもWERの大幅な削減が可能であることがわかった。
  論文  参考訳（メタデータ） (2021-08-22T09:22:28Z)
• Worse WER, but Better BLEU? Leveraging Word Embedding as Intermediate in Multitask End-to-End Speech Translation [127.54315184545796]
  音声翻訳(ST)は、ソース言語の音声からターゲット言語のテキストへの変換を学習することを目的としている。 単語埋め込みを中間語として活用することでマルチタスクSTモデルを改善することを提案する。
  論文  参考訳（メタデータ） (2020-05-21T14:22:35Z)
• Sign Language Transformers: Joint End-to-end Sign Language Recognition and Translation [59.38247587308604]
  本稿では,連続手話認識と翻訳を共同で学習するトランスフォーマーアーキテクチャを提案する。 RWTH-PHOENIX-Weather-2014Tデータセットの認識と翻訳性能の評価を行った。 我々の翻訳ネットワークは、動画を音声言語に、光沢を音声言語翻訳モデルに、どちらよりも優れています。
  論文  参考訳（メタデータ） (2020-03-30T21:35:09Z)
• Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
  本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。 各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
  論文  参考訳（メタデータ） (2020-01-14T02:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。