論文の概要: Data Augmentation for Sign Language Gloss Translation
- arxiv url: http://arxiv.org/abs/2105.07476v1
- Date: Sun, 16 May 2021 16:37:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-19 04:48:45.279611
- Title: Data Augmentation for Sign Language Gloss Translation
- Title（参考訳）: 手話グロス翻訳のためのデータ拡張
- Authors: Amit Moryossef, Kayo Yin, Graham Neubig, Yoav Goldberg
- Abstract要約: 手話翻訳(SLT)は、しばしばビデオ-グロス認識とグロス-テキスト翻訳に分解される。
ここでは低リソースのニューラルネットワーク翻訳(NMT)問題として扱うグロス・トゥ・テキスト翻訳に焦点を当てる。
そこで得られた合成データの事前学習により、アメリカ手話(ASL)から英語、ドイツ語手話(DGS)からドイツ語への翻訳を、それぞれ3.14および2.20BLEUまで改善した。
- 参考スコア（独自算出の注目度）: 115.13684506803529
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sign language translation (SLT) is often decomposed into video-to-gloss
recognition and gloss-to-text translation, where a gloss is a sequence of
transcribed spoken-language words in the order in which they are signed. We
focus here on gloss-to-text translation, which we treat as a low-resource
neural machine translation (NMT) problem. However, unlike traditional
low-resource NMT, gloss-to-text translation differs because gloss-text pairs
often have a higher lexical overlap and lower syntactic overlap than pairs of
spoken languages. We exploit this lexical overlap and handle syntactic
divergence by proposing two rule-based heuristics that generate pseudo-parallel
gloss-text pairs from monolingual spoken language text. By pre-training on the
thus obtained synthetic data, we improve translation from American Sign
Language (ASL) to English and German Sign Language (DGS) to German by up to
3.14 and 2.20 BLEU, respectively.
- Abstract（参考訳）: 手話翻訳(英: sign language translation、slt)は、しばしばビデオから音声への認識とテキストへの翻訳(英: gloss-to-text translation)に分解される。
ここでは低リソースニューラルネットワーク翻訳(NMT)問題として扱うグロス・トゥ・テキスト翻訳に焦点を当てる。
しかし、従来の低リソースのnmtとは異なり、用語対テキストのペアは、話し言葉のペアよりも語彙的重複度が高く、構文的重複度が低いため、用語間翻訳は異なる。
この語彙重なりを利用して、単言語音声テキストから擬パラレルなグロステキストペアを生成する2つのルールベースのヒューリスティックを提案する。
得られた合成データを事前学習することにより、アメリカ手話(ASL)から英語、ドイツ語手話(DGS)への翻訳を最大3.14 BLEUと2.20 BLEUで改善する。
関連論文リスト
- VK-G2T: Vision and Context Knowledge enhanced Gloss2Text [60.57628465740138]
既存の手話翻訳法は、2段階のパイプラインに従っており、まず手話動画をグロスシーケンス(Sign2Gloss)に変換し、次に生成されたグロスシーケンスを音声言語文(Gross2Text)に変換する。
本稿では,目標文の性質を学習するために手話ビデオの視覚的内容を活用し,文脈知識を活用して単語の適応翻訳を容易にする,視覚的・文脈的知識強化型Gloss2Textモデル VK-G2Tを提案する。
論文 参考訳（メタデータ） (2023-12-15T21:09:34Z) - Is context all you need? Scaling Neural Sign Language Translation to
Large Domains of Discourse [34.70927441846784]
手話翻訳(SLT)は手話ビデオから音声言語文を生成することを目的とした課題である。
本稿では,翻訳タスクを人間と同じようにコンテキスト対応で処理する,新しいマルチモーダルトランスフォーマーアーキテクチャを提案する。
本稿では,文脈情報を用いた最先端翻訳性能の大幅な向上を報告し,ベースラインアプローチのBLEU-4スコアをほぼ倍増させた。
論文 参考訳（メタデータ） (2023-08-18T15:27:22Z) - Gloss-free Sign Language Translation: Improving from Visual-Language
Pretraining [56.26550923909137]
Gloss-Free Sign Language Translation (SLT) はドメイン横断性のために難しい課題である。
視覚言語事前学習(GFSLT-)に基づく新しいGross-free SLTを提案する。
i) コントラスト言語-画像事前学習とマスク付き自己教師付き学習を統合して,視覚的表現とテキスト的表現のセマンティックギャップをブリッジするプレタスクを作成し,マスク付き文を復元すること,(ii) 事前訓練されたビジュアルおよびテキストデコーダのパラメータを継承するエンコーダ-デコーダ-のような構造を持つエンドツーエンドアーキテクチャを構築すること,である。
論文 参考訳（メタデータ） (2023-07-27T10:59:18Z) - Enhancing Cross-lingual Transfer via Phonemic Transcription Integration [57.109031654219294]
PhoneXLは、音素転写を言語間移動のための追加のモダリティとして組み込んだフレームワークである。
本研究は, 音素転写が, 言語間移動を促進するために, 正書法以外の重要な情報を提供することを示すものである。
論文 参考訳（メタデータ） (2023-07-10T06:17:33Z) - Cross-modality Data Augmentation for End-to-End Sign Language Translation [66.46877279084083]
エンドツーエンド手話翻訳(SLT)は、手話動画を中間表現なしで直接音声言語テキストに変換することを目的としている。
署名ビデオとテキスト間のモダリティのギャップとラベル付きデータの不足のため、これは難しい課題だった。
本稿では,強力な光沢からテキストへの翻訳機能をエンドツーエンドの手話翻訳に変換するための,新しいクロスモダリティデータ拡張(XmDA)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-18T16:34:18Z) - Better Sign Language Translation with Monolingual Data [6.845232643246564]
署名言語変換(SLT)システムは、大規模並列G2Tペアの可用性に大きく依存している。
本稿では,大規模対象のモノリンガルデータを擬似グルースに自動的に書き起こす簡易かつ効率的なルール変換法を提案する。
実験の結果,提案手法はSLTの性能を大幅に向上させることができることがわかった。
論文 参考訳（メタデータ） (2023-04-21T09:39:54Z) - Changing the Representation: Examining Language Representation for
Neural Sign Language Production [43.45785951443149]
ニューラルサイン言語生産パイプラインの第1ステップに自然言語処理技術を適用した。
BERTやWord2Vecといった言語モデルを使って文レベルの埋め込みを改善する。
本稿では,HamNoSys(T2H)翻訳にテキストを導入し,手話翻訳に音声表現を用いることの利点を示す。
論文 参考訳（メタデータ） (2022-09-16T12:45:29Z) - Improving Sign Language Translation with Monolingual Data by Sign
Back-Translation [105.83166521438463]
本稿では,手話テキストを手話訓練に組み込んだ手話逆翻訳(SignBT)手法を提案する。
テキストからグロスへの翻訳モデルを用いて、まずモノリンガルテキストをそのグロスシーケンスに逆変換する。
そして、推定グロス・トゥ・サインバンクから特徴レベルで部品をスプライシングしてペアサインシーケンスを生成する。
論文 参考訳（メタデータ） (2021-05-26T08:49:30Z) - Better Sign Language Translation with STMC-Transformer [9.835743237370218]
手話翻訳は、まず手話認識システムを使用して、ビデオから手話グルースを抽出する。
翻訳システムは、手話グルースから音声言語翻訳を生成する。
本稿では,STMC-Transformerを導入し,現状を5以上のBLEUと7つのBLEUで改善する。
論文 参考訳（メタデータ） (2020-04-01T17:20:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。