論文の概要: American Sign Language to Text Translation using Transformer and Seq2Seq with LSTM

• arxiv url: http://arxiv.org/abs/2409.10874v1
• Date: Tue, 17 Sep 2024 04:00:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 18:06:56.136207
• Title: American Sign Language to Text Translation using Transformer and Seq2Seq with LSTM
• Title（参考訳）: LSTMを用いた Transformer と Seq2Seq を用いたアメリカ手話テキスト翻訳
• Authors: Gregorius Guntur Sunardi Putra, Adifa Widyadhani Chanda D'Layla, Dimas Wahono, Riyanarto Sarno, Agus Tri Haryono,
• Abstract要約: アメリカ手話(American Sign Language)は、手話の一つ。 ニューラルマシン翻訳技術の開発は手話翻訳に向けて進んでいる。 Transformerは自然言語処理の最先端となった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sign language translation is one of the important issues in communication between deaf and hearing people, as it expresses words through hand, body, and mouth movements. American Sign Language is one of the sign languages used, one of which is the alphabetic sign. The development of neural machine translation technology is moving towards sign language translation. Transformer became the state-of-the-art in natural language processing. This study compares the Transformer with the Sequence-to-Sequence (Seq2Seq) model in translating sign language to text. In addition, an experiment was conducted by adding Residual Long Short-Term Memory (ResidualLSTM) in the Transformer. The addition of ResidualLSTM to the Transformer reduces the performance of the Transformer model by 23.37% based on the BLEU Score value. In comparison, the Transformer itself increases the BLEU Score value by 28.14 compared to the Seq2Seq model.
• Abstract（参考訳）: 手話翻訳は、手、体、口の動きを通して言葉を表現しているため、聴覚と聴覚のコミュニケーションにおいて重要な問題の一つである。 アメリカン手話(American Sign Language)は、使われる手話の一つで、そのうちの1つはアルファベット記号である。 ニューラルマシン翻訳技術の発展は手話翻訳に向けて進んでいる。 Transformerは自然言語処理の最先端となった。 本研究では,手話からテキストへの翻訳において,TransformerとSeq2Seq(Sequence-to-Sequence)モデルを比較した。 さらに,Residual Long Short-Term Memory (ResidualLSTM) をTransformerに追加して実験を行った。 TransformerへのResidualLSTMの追加により、BLEUスコア値に基づいてTransformerモデルの性能が23.37%低下する。 一方、Transformer自身はSeq2Seqモデルと比較してBLEUスコア値を28.14増加させる。

関連論文リスト

• Enhanced Transformer Architecture for Natural Language Processing [2.6071653283020915]
  Transformerは自然言語処理(NLP)分野における最先端モデルである 本稿では,トランスフォーマーの新たな構造を提案し,全層正規化,重み付け残差接続,強化学習を利用した位置符号化,マスク付き自己注意が特徴である。 The proposed Transformer model, called Enhanced Transformer, is confirmeded by the bilingual evaluation understudy (BLEU) score obtained with the Multi30k translation dataset。
  論文  参考訳（メタデータ） (2023-10-17T01:59:07Z)
• Is context all you need? Scaling Neural Sign Language Translation to Large Domains of Discourse [34.70927441846784]
  手話翻訳(SLT)は手話ビデオから音声言語文を生成することを目的とした課題である。 本稿では,翻訳タスクを人間と同じようにコンテキスト対応で処理する,新しいマルチモーダルトランスフォーマーアーキテクチャを提案する。 本稿では,文脈情報を用いた最先端翻訳性能の大幅な向上を報告し,ベースラインアプローチのBLEU-4スコアをほぼ倍増させた。
  論文  参考訳（メタデータ） (2023-08-18T15:27:22Z)
• Code-Switching Text Generation and Injection in Mandarin-English ASR [57.57570417273262]
  業界で広く使われているストリーミングモデルTransformer-Transducer(T-T)の性能向上のためのテキスト生成とインジェクションについて検討する。 まず、コードスイッチングテキストデータを生成し、テキスト-to-Speech(TTS)変換または暗黙的に音声とテキストの潜在空間を結び付けることによって、T-Tモデルに生成されたテキストを明示的に注入する戦略を提案する。 実際のマンダリン・イングリッシュ音声の1,800時間を含むデータセットを用いて訓練したT-Tモデルの実験結果から,生成したコードスイッチングテキストを注入する手法により,T-Tモデルの性能が著しく向上することが示された。
  論文  参考訳（メタデータ） (2023-03-20T09:13:27Z)
• GTrans: Grouping and Fusing Transformer Layers for Neural Machine Translation [107.2752114891855]
  トランスフォーマー構造は、エンコーダとデコーダのネットワーク層によって積み重ねられ、ニューラルマシン翻訳において大きな発展を遂げる。 本稿では,エンコーダとデコーダの多層表現を異なるグループに柔軟に分割し,これらの特徴を融合して目的語を生成するグループトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2022-07-29T04:10:36Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Segatron: Segment-Aware Transformer for Language Modeling and Understanding [79.84562707201323]
  本稿では,セグメンテーション対応トランスフォーマー(Segatron)を提案する。 本稿ではまず,Transformerベースの言語モデルであるTransformer-XLにセグメント認識機構を導入する。 WikiText-103データセット上で17.1パープレキシティを実現することにより,Transformer-XLベースモデルと大規模モデルをさらに改善できることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T17:38:27Z)
• Character-Level Translation with Self-attention [9.864260997723974]
  文字レベルのニューラルマシン翻訳における自己注意モデルの有効性について検討する。 本稿では,標準変圧器モデルとエンコーダブロックがコンボリューションを用いて周辺文字からの情報を結合する新しい変種を検証した。 我々の変圧器変種はキャラクタレベルで標準変圧器より一貫して優れ、より堅牢なキャラクタレベルのアライメントを学習しながらより高速に収束する。
  論文  参考訳（メタデータ） (2020-04-30T14:05:26Z)
• Sign Language Transformers: Joint End-to-end Sign Language Recognition and Translation [59.38247587308604]
  本稿では,連続手話認識と翻訳を共同で学習するトランスフォーマーアーキテクチャを提案する。 RWTH-PHOENIX-Weather-2014Tデータセットの認識と翻訳性能の評価を行った。 我々の翻訳ネットワークは、動画を音声言語に、光沢を音声言語翻訳モデルに、どちらよりも優れています。
  論文  参考訳（メタデータ） (2020-03-30T21:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。