論文の概要: Select and Reorder: A Novel Approach for Neural Sign Language Production
- arxiv url: http://arxiv.org/abs/2404.11532v1
- Date: Wed, 17 Apr 2024 16:25:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 13:16:00.072675
- Title: Select and Reorder: A Novel Approach for Neural Sign Language Production
- Title(参考訳): Select and Reorder: ニューラル手話生成の新しいアプローチ
- Authors: Harry Walsh, Ben Saunders, Richard Bowden,
- Abstract要約: 手話は、しばしば低リソース言語に分類されるが、正確な翻訳を実現する上で大きな課題に直面している。
本稿では,Select and Reorder(S&R)について紹介する。Gross Selection(GS)とGross Reordering(GR)の2つのステップに分割することで,データ不足に対処する新しいアプローチである。
我々は,Meine DGS Annotated (mDGS)データセット上で,最先端のBLEUとRogeスコアを達成し,テキスト・トゥ・グロス(T2G)翻訳において37.88%のBLUE-1が大幅に改善されたことを示す。
- 参考スコア(独自算出の注目度): 35.35777909051466
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Sign languages, often categorised as low-resource languages, face significant challenges in achieving accurate translation due to the scarcity of parallel annotated datasets. This paper introduces Select and Reorder (S&R), a novel approach that addresses data scarcity by breaking down the translation process into two distinct steps: Gloss Selection (GS) and Gloss Reordering (GR). Our method leverages large spoken language models and the substantial lexical overlap between source spoken languages and target sign languages to establish an initial alignment. Both steps make use of Non-AutoRegressive (NAR) decoding for reduced computation and faster inference speeds. Through this disentanglement of tasks, we achieve state-of-the-art BLEU and Rouge scores on the Meine DGS Annotated (mDGS) dataset, demonstrating a substantial BLUE-1 improvement of 37.88% in Text to Gloss (T2G) Translation. This innovative approach paves the way for more effective translation models for sign languages, even in resource-constrained settings.
- Abstract(参考訳): 署名言語は低リソース言語として分類されることが多いが、並列アノテーション付きデータセットが不足しているため、正確な翻訳を実現する上で大きな課題に直面している。
本稿では,Gloss Selection (GS) とGloss Reordering (GR) の2つのステップに分割することで,データ不足に対処する新しい手法であるSelect and Reorder(S&R)を紹介する。
提案手法は,大規模な音声言語モデルとソース音声言語とターゲット手話との語彙的重複を利用して,初期アライメントを確立する。
どちらのステップも、計算の削減と推論速度の高速化にNon-AutoRegressive (NAR)デコーディングを使用している。
このようなタスクの切り離しを通じて、Meine DGS Annotated (mDGS)データセット上で最先端のBLEUとRogeスコアを達成し、テキストからグロスへの変換(T2G)において37.88%のBLUE-1が大幅に改善されたことを示す。
この革新的なアプローチは、リソース制約のある設定であっても、手話のより効果的な翻訳モデルの道を開く。
関連論文リスト
- Gloss-free Sign Language Translation: Improving from Visual-Language
Pretraining [56.26550923909137]
Gloss-Free Sign Language Translation (SLT) はドメイン横断性のために難しい課題である。
視覚言語事前学習(GFSLT-)に基づく新しいGross-free SLTを提案する。
i) コントラスト言語-画像事前学習とマスク付き自己教師付き学習を統合して,視覚的表現とテキスト的表現のセマンティックギャップをブリッジするプレタスクを作成し,マスク付き文を復元すること,(ii) 事前訓練されたビジュアルおよびテキストデコーダのパラメータを継承するエンコーダ-デコーダ-のような構造を持つエンドツーエンドアーキテクチャを構築すること,である。
論文 参考訳(メタデータ) (2023-07-27T10:59:18Z) - Cross-modality Data Augmentation for End-to-End Sign Language
Translation [71.31075396354406]
エンドツーエンド手話翻訳(SLT)は、手話動画を中間表現なしで直接音声言語テキストに変換することを目的としている。
本稿では,強力な光沢からテキストへの翻訳機能をエンドツーエンドの手話翻訳に変換するための,新しいクロスモダリティデータ拡張(XmDA)フレームワークを提案する。
XmDAは、クロスモダリティ混合とクロスモダリティ知識蒸留という2つの重要な構成要素から構成される。
論文 参考訳(メタデータ) (2023-05-18T16:34:18Z) - Better Sign Language Translation with Monolingual Data [6.845232643246564]
署名言語変換(SLT)システムは、大規模並列G2Tペアの可用性に大きく依存している。
本稿では,大規模対象のモノリンガルデータを擬似グルースに自動的に書き起こす簡易かつ効率的なルール変換法を提案する。
実験の結果,提案手法はSLTの性能を大幅に向上させることができることがわかった。
論文 参考訳(メタデータ) (2023-04-21T09:39:54Z) - CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual
Labeled Sequence Translation [113.99145386490639]
言語間NERは、整列した言語間表現や機械翻訳結果を通じて、言語間で知識を伝達することができる。
ゼロショット言語間NERを実現するために,クロスランガル・エンティティ・プロジェクション・フレームワーク(CROP)を提案する。
多言語ラベル付きシーケンス翻訳モデルを用いて、タグ付けされたシーケンスをターゲット言語に投影し、ターゲットの原文にラベル付けする。
論文 参考訳(メタデータ) (2022-10-13T13:32:36Z) - A Dual-Contrastive Framework for Low-Resource Cross-Lingual Named Entity
Recognition [5.030581940990434]
クロスランガルな名前付きエンティティ認識(NER)は、低リソース言語におけるデータ空白問題を緩和できるため、最近研究ホットスポットになっている。
本稿では,言語間NERのための2言語コントラストフレームワーク ConCNER について述べる。
論文 参考訳(メタデータ) (2022-04-02T07:59:13Z) - Improving Multilingual Translation by Representation and Gradient
Regularization [82.42760103045083]
表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。
提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
論文 参考訳(メタデータ) (2021-09-10T10:52:21Z) - From Masked Language Modeling to Translation: Non-English Auxiliary
Tasks Improve Zero-shot Spoken Language Understanding [24.149299722716155]
非常に低リソースの方言を含む6言語ファミリーの13言語を対象に,言語間SlotとIntent Detectionの新しいベンチマークであるxSIDを紹介した。
本研究では,英語SLU学習データと原文,構文,翻訳による非英語補助課題を併用した共同学習手法を提案する。
その結果,マスキング言語モデルによる主タスクの学習はスロットに有効であり,機械翻訳は意図分類に最適であることがわかった。
論文 参考訳(メタデータ) (2021-05-15T23:51:11Z) - Cross-lingual Machine Reading Comprehension with Language Branch
Knowledge Distillation [105.41167108465085]
言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。
本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。
LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。
複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
論文 参考訳(メタデータ) (2020-10-27T13:12:17Z) - FILTER: An Enhanced Fusion Method for Cross-lingual Language
Understanding [85.29270319872597]
我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。
推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。
この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
論文 参考訳(メタデータ) (2020-09-10T22:42:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。