論文の概要: ISLTranslate: Dataset for Translating Indian Sign Language
- arxiv url: http://arxiv.org/abs/2307.05440v1
- Date: Tue, 11 Jul 2023 17:06:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-12 13:55:47.214295
- Title: ISLTranslate: Dataset for Translating Indian Sign Language
- Title(参考訳): ISLTranslate:インド手話翻訳のためのデータセット
- Authors: Abhinav Joshi and Susmit Agrawal and Ashutosh Modi
- Abstract要約: In this paper introduced ISLTranslate, a translation dataset for continuous Indian Sign Language (ISL) with 31k ISL- English sentence/phrase pairs。
私たちの知る限りでは、これは連続したインド手話のための翻訳データセットとしては最大のものです。
- 参考スコア(独自算出の注目度): 4.836352379142503
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Sign languages are the primary means of communication for many
hard-of-hearing people worldwide. Recently, to bridge the communication gap
between the hard-of-hearing community and the rest of the population, several
sign language translation datasets have been proposed to enable the development
of statistical sign language translation systems. However, there is a dearth of
sign language resources for the Indian sign language. This resource paper
introduces ISLTranslate, a translation dataset for continuous Indian Sign
Language (ISL) consisting of 31k ISL-English sentence/phrase pairs. To the best
of our knowledge, it is the largest translation dataset for continuous Indian
Sign Language. We provide a detailed analysis of the dataset. To validate the
performance of existing end-to-end Sign language to spoken language translation
systems, we benchmark the created dataset with a transformer-based model for
ISL translation.
- Abstract(参考訳): 手話は世界中の多くの難聴者にとって主要なコミュニケーション手段である。
近年,難聴者コミュニティと住民のコミュニケーションギャップを埋めるために,統計手話翻訳システムの開発を目的とした手話翻訳データセットがいくつか提案されている。
しかし、インド手話には手話の資源が不足している。
本論文では,31kのisl英語文/フレーズからなる連続インド手話用翻訳データセットisltranslateを紹介する。
私たちの知る限りでは、継続的なインド手話のための最大の翻訳データセットです。
データセットの詳細な分析を提供する。
音声言語翻訳システムにおける既存のエンドツーエンド手話の性能を検証するため,ISL翻訳のためのトランスフォーマーベースモデルを用いて,作成したデータセットをベンチマークした。
関連論文リスト
- JWSign: A Highly Multilingual Corpus of Bible Translations for more
Diversity in Sign Language Processing [2.9936326613596775]
JWSignデータセットは98の手話言語で2,530時間の聖書翻訳で構成されている。
我々は、署名された言語や話し言葉の類型的関連性を考慮して、多言語システムを訓練する。
論文 参考訳(メタデータ) (2023-11-16T20:02:44Z) - Towards a Deep Understanding of Multilingual End-to-End Speech
Translation [52.26739715012842]
我々は22言語以上で訓練された多言語エンドツーエンド音声翻訳モデルで学習した表現を解析する。
我々は分析から3つの大きな発見を得た。
論文 参考訳(メタデータ) (2023-10-31T13:50:55Z) - Cross-modality Data Augmentation for End-to-End Sign Language
Translation [71.31075396354406]
エンドツーエンド手話翻訳(SLT)は、手話動画を中間表現なしで直接音声言語テキストに変換することを目的としている。
本稿では,強力な光沢からテキストへの翻訳機能をエンドツーエンドの手話翻訳に変換するための,新しいクロスモダリティデータ拡張(XmDA)フレームワークを提案する。
XmDAは、クロスモダリティ混合とクロスモダリティ知識蒸留という2つの重要な構成要素から構成される。
論文 参考訳(メタデータ) (2023-05-18T16:34:18Z) - LSA-T: The first continuous Argentinian Sign Language dataset for Sign
Language Translation [52.87578398308052]
手話翻訳(SLT)は、人間とコンピュータの相互作用、コンピュータビジョン、自然言語処理、機械学習を含む活発な研究分野である。
本稿では,最初の連続的アルゼンチン手話(LSA)データセットを提案する。
このビデオには、CN Sordos YouTubeチャンネルから抽出されたLCAの14,880の文レベルのビデオと、各署名者のためのラベルとキーポイントアノテーションが含まれている。
論文 参考訳(メタデータ) (2022-11-14T14:46:44Z) - Machine Translation between Spoken Languages and Signed Languages
Represented in SignWriting [5.17427644066658]
ニューラルファクタリングMTのアイデアを活用し,SignWritingを解析,分解,復号化,評価するための新しい手法を提案する。
音声翻訳の改良に使用される一般的なMT技術が手話翻訳の性能にも同様に影響を及ぼすことがわかった。
論文 参考訳(メタデータ) (2022-10-11T12:28:06Z) - Explore More Guidance: A Task-aware Instruction Network for Sign
Language Translation Enhanced with Data Augmentation [20.125265661134964]
手話認識と翻訳は、まず認識モジュールを使用して手話ビデオからグルースを生成する。
本研究では,手話翻訳のためのタスク認識型命令ネットワークTIN-SLTを提案する。
論文 参考訳(メタデータ) (2022-04-12T17:09:44Z) - A Simple Multi-Modality Transfer Learning Baseline for Sign Language
Translation [54.29679610921429]
既存の手話データセットには、約10K-20Kの手話ビデオ、グロスアノテーション、テキストが含まれています。
したがって、データは効果的な手話翻訳モデルの訓練のボトルネックとなる。
この単純なベースラインは、2つの手話翻訳ベンチマークで過去の最先端の結果を上回っている。
論文 参考訳(メタデータ) (2022-03-08T18:59:56Z) - OpenHands: Making Sign Language Recognition Accessible with Pose-based
Pretrained Models across Languages [2.625144209319538]
OpenHandsは、低リソース言語のためのNLPコミュニティから4つの重要なアイデアを取り入れ、それらを単語レベルの認識のための手話言語に適用するライブラリである。
まず,事前学習モデルから抽出したポーズをデータの標準モダリティとして用いて,トレーニング時間を短縮し,効率的な推論を可能にする。
第2に、すべての6言語で4つのポーズベースの独立した手話認識モデルのチェックポイントをトレーニングし、リリースします。
第3に,ラベル付きデータの欠如に対処するため,ラベル付きデータに基づく自己教師付き事前学習を提案する。
論文 参考訳(メタデータ) (2021-10-12T10:33:02Z) - Improving Sign Language Translation with Monolingual Data by Sign
Back-Translation [105.83166521438463]
本稿では,手話テキストを手話訓練に組み込んだ手話逆翻訳(SignBT)手法を提案する。
テキストからグロスへの翻訳モデルを用いて、まずモノリンガルテキストをそのグロスシーケンスに逆変換する。
そして、推定グロス・トゥ・サインバンクから特徴レベルで部品をスプライシングしてペアサインシーケンスを生成する。
論文 参考訳(メタデータ) (2021-05-26T08:49:30Z) - Sign Language Transformers: Joint End-to-end Sign Language Recognition
and Translation [59.38247587308604]
本稿では,連続手話認識と翻訳を共同で学習するトランスフォーマーアーキテクチャを提案する。
RWTH-PHOENIX-Weather-2014Tデータセットの認識と翻訳性能の評価を行った。
我々の翻訳ネットワークは、動画を音声言語に、光沢を音声言語翻訳モデルに、どちらよりも優れています。
論文 参考訳(メタデータ) (2020-03-30T21:35:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。