論文の概要: SignSpeak: Open-Source Time Series Classification for ASL Translation

• arxiv url: http://arxiv.org/abs/2407.12020v2
• Date: Thu, 18 Jul 2024 20:36:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 21:49:14.892392
• Title: SignSpeak: Open-Source Time Series Classification for ASL Translation
• Title（参考訳）: SignSpeak: ASL翻訳のためのオープンソース時系列分類
• Authors: Aditya Makkar, Divya Makkar, Aarav Patel, Liam Hebert,
• Abstract要約: 本稿では,低コストでリアルタイムなASL-to-Speech翻訳グローブと手話パターンの学習データセットを提案する。 このデータセットを、LSTM、GRU、Transformersなどの教師付き学習モデルでベンチマークし、最高のモデルが92%の精度を達成した。 当社のオープンソースデータセット、モデル、グローブデザインは、コスト効率を維持しつつ、正確かつ効率的なASLトランスレータを提供する。
• 参考スコア（独自算出の注目度）: 0.12499537119440243
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The lack of fluency in sign language remains a barrier to seamless communication for hearing and speech-impaired communities. In this work, we propose a low-cost, real-time ASL-to-speech translation glove and an exhaustive training dataset of sign language patterns. We then benchmarked this dataset with supervised learning models, such as LSTMs, GRUs and Transformers, where our best model achieved 92% accuracy. The SignSpeak dataset has 7200 samples encompassing 36 classes (A-Z, 1-10) and aims to capture realistic signing patterns by using five low-cost flex sensors to measure finger positions at each time step at 36 Hz. Our open-source dataset, models and glove designs, provide an accurate and efficient ASL translator while maintaining cost-effectiveness, establishing a framework for future work to build on.
• Abstract（参考訳）: 手話における流布の欠如は、聴覚と言語障害のあるコミュニティにとってシームレスなコミュニケーションの障壁として依然として残っている。 本研究では,低コストでリアルタイムなASL-to-Speech翻訳グローブと手話パターンの学習データセットを提案する。 そして、このデータセットをLSTM、GRU、Transformersなどの教師付き学習モデルでベンチマークし、そこで最高のモデルが92%の精度を達成した。 SignSpeakデータセットは、36のクラス(A-Z, 1-10)を含む7200のサンプルを持ち、5つの低コストなフレキシブルセンサーを使用して36Hzの各時間ステップにおける指の位置を測定することで、現実的な署名パターンをキャプチャすることを目指している。 当社のオープンソースデータセット、モデル、グローブデザインは、コスト効率を維持しつつ、正確で効率的なASLトランスレータを提供し、将来の作業を構築するためのフレームワークを確立しています。

関連論文リスト

• SHuBERT: Self-Supervised Sign Language Representation Learning via Multi-Stream Cluster Prediction [65.1590372072555]
  本稿では,ASL(American Sign Language)ビデオコンテンツから強い表現を学習する自己教師型トランスフォーマーエンコーダSHuBERTを紹介する。 HuBERT音声表現モデルの成功に触発されて、SHuBERTはマルチストリーム視覚手話入力にマスク付き予測を適用する。 SHuBERTは、複数のベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-11-25T03:13:08Z)
• The American Sign Language Knowledge Graph: Infusing ASL Models with Linguistic Knowledge [6.481946043182915]
  専門的な言語知識の12つの情報源からコンパイルされたASLKG(American Sign Language Knowledge Graph)を紹介する。 我々は、ASLKGを用いて、3つのASL理解タスクのニューロシンボリックモデルをトレーニングし、ISRで91%のアキュラシーを達成し、14%の未確認のサインのセマンティックな特徴を予測し、36%のYoutube-ASLビデオのトピックを分類した。
  論文  参考訳（メタデータ） (2024-11-06T00:16:16Z)
• SSL-TTS: Leveraging Self-Supervised Embeddings and kNN Retrieval for Zero-Shot Multi-speaker TTS [18.701864254184308]
  TTSの効果的な中間表現として,自己教師付き学習(SSL)音声の特徴が出現している。 本研究では、単一話者からの音声の書き起こしに基づいて訓練された軽量で効率的なゼロショットTTSフレームワークであるSSL-TTSを紹介する。
  論文  参考訳（メタデータ） (2024-08-20T12:09:58Z)
• BAUST Lipi: A BdSL Dataset with Deep Learning Based Bangla Sign Language Recognition [0.5497663232622964]
  聴覚障害者コミュニティとのコミュニケーションを強化するために、手話の研究が盛んである。 重要な障壁の1つは、包括的なBangla手話データセットがないことである。 18,000個の画像からなる新しいBdSLデータセットを導入し,各画像のサイズを224×224ピクセルとする。 我々は、複数の畳み込み層、アクティベーション機能、ドロップアウト技術、LSTM層を統合するハイブリッド畳み込みニューラルネットワーク(CNN)モデルを考案した。
  論文  参考訳（メタデータ） (2024-08-20T03:35:42Z)
• EvSign: Sign Language Recognition and Translation with Streaming Events [59.51655336911345]
  イベントカメラは、動的手の動きを自然に知覚し、手話作業のための豊富な手作業の手がかりを提供する。 イベントベースSLRおよびSLTタスクのための効率的なトランスフォーマーベースフレームワークを提案する。 計算コストは0.34%に過ぎず,既存の最先端手法に対して良好に機能する。
  論文  参考訳（メタデータ） (2024-07-17T14:16:35Z)
• Towards Robust Speech Representation Learning for Thousands of Languages [77.2890285555615]
  自己教師付き学習(SSL)は、ラベル付きデータの必要性を減らすことで、音声技術をより多くの言語に拡張するのに役立つ。 我々は4057言語にまたがる100万時間以上のデータに基づいて訓練された、ユニバーサル音声のための言語横断言語であるXEUSを提案する。
  論文  参考訳（メタデータ） (2024-06-30T21:40:26Z)
• BdSLW60: A Word-Level Bangla Sign Language Dataset [3.8631510994883254]
  我々は、制約のない自然な設定で、BdSLW60という名前の包括的BdSLワードレベルデータセットを作成します。 データセットには60のBangla手話が含まれており、18人の手話専門家が手話専門家の監督の下で提供した9307のビデオトライアルがかなりの規模で提供されている。 本稿では,SVM(Support Vector Machine)を用いたBdSLW60データセットのベンチマーク結果について報告する。
  論文  参考訳（メタデータ） (2024-02-13T18:02:58Z)
• Joint Prediction and Denoising for Large-scale Multilingual Self-supervised Learning [69.77973092264338]
  我々は、より強力な技術がより効率的な事前トレーニングをもたらし、SSLをより多くの研究グループに開放することを示します。 我々は,WavLMのジョイント予測を拡張し,136言語にまたがる40k時間のデータをデノベーションするWavLabLMを提案する。 このモデルではXLS-Rの性能を94%維持でき、データの3%しか保持できない。
  論文  参考訳（メタデータ） (2023-09-26T23:55:57Z)
• ComSL: A Composite Speech-Language Model for End-to-End Speech-to-Text Translation [79.66359274050885]
  公的な事前訓練された音声のみのモデルと言語のみのモデルからなる複合アーキテクチャ上に構築された音声言語モデルであるComSLを提案する。 提案手法は,エンドツーエンドの音声-テキスト翻訳タスクにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2023-05-24T07:42:15Z)
• ASL Citizen: A Community-Sourced Dataset for Advancing Isolated Sign Language Recognition [6.296362537531586]
  サイン言語は、全世界で約7000万人のD/deaf人が一次言語として使っている。 この問題に対処するため、最初のクラウドソースで分離された手話認識データセットであるASL Citizenをリリースしました。 我々は,このデータセットを,ユーザがWebカメラにサインを表示させて辞書から一致するサインを検索する,American Sign Language (ASL) のための手話辞書検索に使用することを提案する。
  論文  参考訳（メタデータ） (2023-04-12T15:52:53Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。