論文の概要: Considerations for meaningful sign language machine translation based on glosses

• arxiv url: http://arxiv.org/abs/2211.15464v1
• Date: Mon, 28 Nov 2022 15:51:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 15:12:24.614505
• Title: Considerations for meaningful sign language machine translation based on glosses
• Title（参考訳）: 光沢度に基づく有意義手話機械翻訳に関する一考察
• Authors: Mathias M\"uller, Zifan Jiang, Amit Moryossef, Annette Rios, Sarah Ebling
• Abstract要約: 機械翻訳(MT)では、グルースに基づく手話翻訳が顕著なアプローチである。 一般的なグルースの制限や特定のデータセットの制限は、透過的な方法では議論されない。 我々は、光沢翻訳研究のための具体的な勧告を提出した。
• 参考スコア（独自算出の注目度）: 6.422262171968398
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic sign language processing is gaining popularity in Natural Language Processing (NLP) research (Yin et al., 2021). In machine translation (MT) in particular, sign language translation based on glosses is a prominent approach. In this paper, we review recent works on neural gloss translation. We find that limitations of glosses in general and limitations of specific datasets are not discussed in a transparent manner and that there is no common standard for evaluation. To address these issues, we put forward concrete recommendations for future research on gloss translation. Our suggestions advocate awareness of the inherent limitations of gloss-based approaches, realistic datasets, stronger baselines and convincing evaluation.
• Abstract（参考訳）: 自然言語処理(NLP)の研究(Yin et al., 2021)では,手話の自動処理が普及している。 特に機械翻訳(MT)では、グルースに基づく手話翻訳が顕著なアプローチである。 本稿では,ニューラルグロス翻訳に関する最近の研究について概説する。 一般的なグルースの制限や特定のデータセットの制限は、透過的な方法では議論されず、評価の共通標準が存在しないことがわかった。 これらの課題に対処するため,光沢翻訳研究の具体的な提言を行った。 提案では,光沢に基づくアプローチ,現実的なデータセット,より強固なベースライン,説得力のある評価という本質的な限界に対する認識を提唱する。

関連論文リスト

• Universal Gloss-level Representation for Gloss-free Sign Language Translation and Production [9.065171626657818]
  Universal Gloss-level Representation (UniGloR)は手話翻訳と手話生成のための統一的で自己指導型のソリューションである。 本結果は,UniGloRの翻訳および生産における有効性を示すものである。 本研究は, 自己指導型学習を統一的に実現し, 革新的かつ実践的な応用の道を開くことを示唆する。
  論文  参考訳（メタデータ） (2024-07-03T07:12:36Z)
• Gloss2Text: Sign Language Gloss translation using LLMs and Semantically Aware Label Smoothing [21.183453511034767]
  本稿では,事前学習された大言語モデル(LLM),データ拡張,ラベルの平滑化損失関数を活用することで,いくつかの進歩を提案する。 提案手法は,Em Gloss2Text翻訳における最先端性能を上回る。
  論文  参考訳（メタデータ） (2024-07-01T15:46:45Z)
• Gloss-free Sign Language Translation: Improving from Visual-Language Pretraining [56.26550923909137]
  Gloss-Free Sign Language Translation (SLT) はドメイン横断性のために難しい課題である。 視覚言語事前学習(GFSLT-)に基づく新しいGross-free SLTを提案する。 i) コントラスト言語-画像事前学習とマスク付き自己教師付き学習を統合して,視覚的表現とテキスト的表現のセマンティックギャップをブリッジするプレタスクを作成し,マスク付き文を復元すること,(ii) 事前訓練されたビジュアルおよびテキストデコーダのパラメータを継承するエンコーダ-デコーダ-のような構造を持つエンドツーエンドアーキテクチャを構築すること,である。
  論文  参考訳（メタデータ） (2023-07-27T10:59:18Z)
• Gloss-Free End-to-End Sign Language Translation [59.28829048788345]
  我々はGloFE(Gloss-Free End-to-end手話翻訳フレームワーク)を設計する。 本手法は,信号の共通意味と対応する音声翻訳を利用して,光沢のない環境下でのSLTの性能を向上させる。 OpenASLやHow2Signなど,大規模データセットの最先端結果を得た。
  論文  参考訳（メタデータ） (2023-05-22T09:57:43Z)
• Keypoint based Sign Language Translation without Glosses [7.240731862549344]
  署名者の骨格点に基づく翻訳を行うための新しいキーポイント正規化法を提案する。 身体部分に応じてカスタマイズされた正規化法により性能改善に寄与した。 本手法は,グルースを使わずにデータセットに適用可能な方法で,様々なデータセットに適用することができる。
  論文  参考訳（メタデータ） (2022-04-22T05:37:56Z)
• A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation [54.29679610921429]
  既存の手話データセットには、約10K-20Kの手話ビデオ、グロスアノテーション、テキストが含まれています。 したがって、データは効果的な手話翻訳モデルの訓練のボトルネックとなる。 この単純なベースラインは、2つの手話翻訳ベンチマークで過去の最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2022-03-08T18:59:56Z)
• SimulSLT: End-to-End Simultaneous Sign Language Translation [55.54237194555432]
  既存の手話翻訳手法では、翻訳を開始する前にすべてのビデオを読む必要がある。 我々は,最初のエンドツーエンド同時手話翻訳モデルであるSimulSLTを提案する。 SimulSLTは最新のエンドツーエンドの非同時手話翻訳モデルを超えるBLEUスコアを達成する。
  論文  参考訳（メタデータ） (2021-12-08T11:04:52Z)
• Improving Sign Language Translation with Monolingual Data by Sign Back-Translation [105.83166521438463]
  本稿では,手話テキストを手話訓練に組み込んだ手話逆翻訳(SignBT)手法を提案する。 テキストからグロスへの翻訳モデルを用いて、まずモノリンガルテキストをそのグロスシーケンスに逆変換する。 そして、推定グロス・トゥ・サインバンクから特徴レベルで部品をスプライシングしてペアサインシーケンスを生成する。
  論文  参考訳（メタデータ） (2021-05-26T08:49:30Z)
• Data Augmentation for Sign Language Gloss Translation [115.13684506803529]
  手話翻訳(SLT)は、しばしばビデオ-グロス認識とグロス-テキスト翻訳に分解される。 ここでは低リソースのニューラルネットワーク翻訳(NMT)問題として扱うグロス・トゥ・テキスト翻訳に焦点を当てる。 そこで得られた合成データの事前学習により、アメリカ手話(ASL)から英語、ドイツ語手話(DGS)からドイツ語への翻訳を、それぞれ3.14および2.20BLEUまで改善した。
  論文  参考訳（メタデータ） (2021-05-16T16:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。