論文の概要: Better Sign Language Translation with Monolingual Data

• arxiv url: http://arxiv.org/abs/2304.10844v1
• Date: Fri, 21 Apr 2023 09:39:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-24 15:10:55.593539
• Title: Better Sign Language Translation with Monolingual Data
• Title（参考訳）: 単言語データによる手話翻訳の改善
• Authors: Ru Peng, Yawen Zeng, Junbo Zhao
• Abstract要約: 署名言語変換(SLT)システムは、大規模並列G2Tペアの可用性に大きく依存している。 本稿では,大規模対象のモノリンガルデータを擬似グルースに自動的に書き起こす簡易かつ効率的なルール変換法を提案する。 実験の結果,提案手法はSLTの性能を大幅に向上させることができることがわかった。
• 参考スコア（独自算出の注目度）: 6.845232643246564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sign language translation (SLT) systems, which are often decomposed into video-to-gloss (V2G) recognition and gloss-to-text (G2T) translation through the pivot gloss, heavily relies on the availability of large-scale parallel G2T pairs. However, the manual annotation of pivot gloss, which is a sequence of transcribed written-language words in the order in which they are signed, further exacerbates the scarcity of data for SLT. To address this issue, this paper proposes a simple and efficient rule transformation method to transcribe the large-scale target monolingual data into its pseudo glosses automatically for enhancing the SLT translation. Empirical results show that the proposed approach can significantly improve the performance of SLT, especially achieving state-of-the-art results on two SLT benchmark datasets PHEONIX-WEATHER 2014T and ASLG-PC12. Our code has been released at: https://github.com/pengr/Mono\_SLT.
• Abstract（参考訳）: 手話翻訳(slt)システムは、しばしばv2g(video-to-gloss)認識とg2t(gloss-to-text)翻訳に分解され、大規模並列g2tペアの可用性に大きく依存する。 しかし、署名された順に書き起こされた単語のシーケンスであるピボットグロスのマニュアルアノテーションは、さらにSLTのデータ不足を悪化させる。 そこで本研究では,SLT翻訳の高速化のために,大規模対象単言語データを擬似グルースに自動で書き起こし,簡易かつ効率的なルール変換手法を提案する。 実験の結果,提案手法はSLTの性能を著しく向上させ,特に2つのSLTベンチマークデータセットPHEONIX-WEATHER 2014TとASLG-PC12の最先端化を実現している。 私たちのコードは、https://github.com/pengr/Mono\_SLTでリリースされました。

関連論文リスト

• Select and Reorder: A Novel Approach for Neural Sign Language Production [35.35777909051466]
  手話は、しばしば低リソース言語に分類されるが、正確な翻訳を実現する上で大きな課題に直面している。 本稿では,Select and Reorder(S&R)について紹介する。Gross Selection(GS)とGross Reordering(GR)の2つのステップに分割することで,データ不足に対処する新しいアプローチである。 我々は,Meine DGS Annotated (mDGS)データセット上で,最先端のBLEUとRogeスコアを達成し,テキスト・トゥ・グロス(T2G)翻訳において37.88%のBLUE-1が大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2024-04-17T16:25:19Z)
• Gloss-free Sign Language Translation: Improving from Visual-Language Pretraining [56.26550923909137]
  Gloss-Free Sign Language Translation (SLT) はドメイン横断性のために難しい課題である。 視覚言語事前学習(GFSLT-)に基づく新しいGross-free SLTを提案する。 i) コントラスト言語-画像事前学習とマスク付き自己教師付き学習を統合して,視覚的表現とテキスト的表現のセマンティックギャップをブリッジするプレタスクを作成し,マスク付き文を復元すること,(ii) 事前訓練されたビジュアルおよびテキストデコーダのパラメータを継承するエンコーダ-デコーダ-のような構造を持つエンドツーエンドアーキテクチャを構築すること,である。
  論文  参考訳（メタデータ） (2023-07-27T10:59:18Z)
• Gloss-Free End-to-End Sign Language Translation [59.28829048788345]
  我々はGloFE(Gloss-Free End-to-end手話翻訳フレームワーク)を設計する。 本手法は,信号の共通意味と対応する音声翻訳を利用して,光沢のない環境下でのSLTの性能を向上させる。 OpenASLやHow2Signなど,大規模データセットの最先端結果を得た。
  論文  参考訳（メタデータ） (2023-05-22T09:57:43Z)
• Cross-modality Data Augmentation for End-to-End Sign Language Translation [66.46877279084083]
  エンドツーエンド手話翻訳(SLT)は、手話動画を中間表現なしで直接音声言語テキストに変換することを目的としている。 署名ビデオとテキスト間のモダリティのギャップとラベル付きデータの不足のため、これは難しい課題だった。 本稿では,強力な光沢からテキストへの翻訳機能をエンドツーエンドの手話翻訳に変換するための,新しいクロスモダリティデータ拡張(XmDA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-18T16:34:18Z)
• A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation [54.29679610921429]
  既存の手話データセットには、約10K-20Kの手話ビデオ、グロスアノテーション、テキストが含まれています。 したがって、データは効果的な手話翻訳モデルの訓練のボトルネックとなる。 この単純なベースラインは、2つの手話翻訳ベンチマークで過去の最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2022-03-08T18:59:56Z)
• Improving Sign Language Translation with Monolingual Data by Sign Back-Translation [105.83166521438463]
  本稿では,手話テキストを手話訓練に組み込んだ手話逆翻訳(SignBT)手法を提案する。 テキストからグロスへの翻訳モデルを用いて、まずモノリンガルテキストをそのグロスシーケンスに逆変換する。 そして、推定グロス・トゥ・サインバンクから特徴レベルで部品をスプライシングしてペアサインシーケンスを生成する。
  論文  参考訳（メタデータ） (2021-05-26T08:49:30Z)
• Data Augmentation for Sign Language Gloss Translation [115.13684506803529]
  手話翻訳(SLT)は、しばしばビデオ-グロス認識とグロス-テキスト翻訳に分解される。 ここでは低リソースのニューラルネットワーク翻訳(NMT)問題として扱うグロス・トゥ・テキスト翻訳に焦点を当てる。 そこで得られた合成データの事前学習により、アメリカ手話(ASL)から英語、ドイツ語手話(DGS)からドイツ語への翻訳を、それぞれ3.14および2.20BLEUまで改善した。
  論文  参考訳（メタデータ） (2021-05-16T16:37:36Z)
• Better Sign Language Translation with STMC-Transformer [9.835743237370218]
  手話翻訳は、まず手話認識システムを使用して、ビデオから手話グルースを抽出する。 翻訳システムは、手話グルースから音声言語翻訳を生成する。 本稿では,STMC-Transformerを導入し,現状を5以上のBLEUと7つのBLEUで改善する。
  論文  参考訳（メタデータ） (2020-04-01T17:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。