論文の概要: An Open-Source Gloss-Based Baseline for Spoken to Signed Language Translation

• arxiv url: http://arxiv.org/abs/2305.17714v1
• Date: Sun, 28 May 2023 12:57:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 17:06:25.862182
• Title: An Open-Source Gloss-Based Baseline for Spoken to Signed Language Translation
• Title（参考訳）: 署名付き言語翻訳のためのオープンソースのGrossベースライン
• Authors: Amit Moryossef, Mathias M\"uller, Anne G\"ohring, Zifan Jiang, Yoav Goldberg, and Sarah Ebling
• Abstract要約: Gloss-to-pose変換は、3つの異なる符号付き言語のための辞書のデータを用いて発生する。 文を生成するために、テキスト・トゥ・グロス方式を最初に実行し、その結果のサインのポーズ表現を縫合する。
• 参考スコア（独自算出の注目度）: 36.27350870666988
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Sign language translation systems are complex and require many components. As a result, it is very hard to compare methods across publications. We present an open-source implementation of a text-to-gloss-to-pose-to-video pipeline approach, demonstrating conversion from German to Swiss German Sign Language, French to French Sign Language of Switzerland, and Italian to Italian Sign Language of Switzerland. We propose three different components for the text-to-gloss translation: a lemmatizer, a rule-based word reordering and dropping component, and a neural machine translation system. Gloss-to-pose conversion occurs using data from a lexicon for three different signed languages, with skeletal poses extracted from videos. To generate a sentence, the text-to-gloss system is first run, and the pose representations of the resulting signs are stitched together.
• Abstract（参考訳）: 手話翻訳システムは複雑で多くのコンポーネントを必要とする。 その結果、出版物間で手法を比較することは非常に困難である。 本稿では,ドイツ語からスイスドイツ語への変換,スイスのフランス語からフランス語への変換,スイスのイタリア語からイタリア語への変換を示す,テキストから音声へのパイプライン方式のオープンソース実装を提案する。 テキストから言語への翻訳には,レマタイザ,ルールに基づく単語の並べ替えとドロップ,ニューラルマシン翻訳システムという3つの異なるコンポーネントが提案されている。 Gloss-to-pose変換は、ビデオから骨格のポーズを抽出した3つの異なる符号付き言語のための辞書のデータを使用して発生する。 文を生成するために、まずtext-to-glossシステムを実行し、その結果の符号のポーズ表現を縫い合わせる。

関連論文リスト

• Decoupled Vocabulary Learning Enables Zero-Shot Translation from Unseen Languages [55.157295899188476]
  ニューラルマシン翻訳システムは、異なる言語の文を共通の表現空間にマッピングすることを学ぶ。 本研究では、この仮説を未知の言語からのゼロショット翻訳により検証する。 この設定により、全く見えない言語からのゼロショット翻訳が可能になることを実証する。
  論文  参考訳（メタデータ） (2024-08-05T07:58:58Z)
• Unsupervised Sign Language Translation and Generation [72.01216288379072]
  教師なし手話翻訳・生成ネットワーク(USLNet)を導入する。 USLNetは、並列手話データなしで、豊富な単一モダリティ(テキストとビデオ)データから学習する。 可変長テキストとビデオシーケンスの整合性の問題に対処するスライディングウインドウ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-12T15:39:05Z)
• A Simple Baseline for Spoken Language to Sign Language Translation with 3D Avatars [49.60328609426056]
  Spoken2Signは、音声言語を手話に変換するシステムである。 本稿では,グロスビデオ辞書の作成,サインビデオ毎の3Dサインの推定,スポンケン2サインモデルのトレーニングという3つのステップからなる単純なベースラインを提案する。 私たちが知っている限りでは、最初にSpken2Signタスクを3Dサインの出力フォーマットで提示します。
  論文  参考訳（メタデータ） (2024-01-09T18:59:49Z)
• Multilingual Lexical Simplification via Paraphrase Generation [19.275642346073557]
  パラフレーズ生成による新しい多言語LS法を提案する。 パラフレーズ処理は多言語ニューラルマシン翻訳におけるゼロショット翻訳タスクとみなす。 提案手法は,英語,スペイン語,ポルトガル語で,BERT法とゼロショットGPT3法を大きく上回る。
  論文  参考訳（メタデータ） (2023-07-28T03:47:44Z)
• Machine Translation between Spoken Languages and Signed Languages Represented in SignWriting [5.17427644066658]
  ニューラルファクタリングMTのアイデアを活用し,SignWritingを解析,分解,復号化,評価するための新しい手法を提案する。 音声翻訳の改良に使用される一般的なMT技術が手話翻訳の性能にも同様に影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2022-10-11T12:28:06Z)
• Example-Based Machine Translation from Text to a Hierarchical Representation of Sign Language [1.3999481573773074]
  本稿では,テキスト・トゥ・サイン翻訳の原本について述べる。 これは、AZeeにおける手話ビデオのテキストと階層的な形式記述の間のアライメントのドメイン固有の並列コーパスを使用して、データの不足を補う。 提案アルゴリズムは、ソーステキストに存在する類似性の検出に基づいて、整列セグメントのマッチングと置換を利用して、複数の候補翻訳を構築する。 結果として得られる翻訳は、アバターシステムへの入力として使用されるように設計されたAZee式(英語版)の形式である。
  論文  参考訳（メタデータ） (2022-05-06T15:48:43Z)
• Data Augmentation for Sign Language Gloss Translation [115.13684506803529]
  手話翻訳(SLT)は、しばしばビデオ-グロス認識とグロス-テキスト翻訳に分解される。 ここでは低リソースのニューラルネットワーク翻訳(NMT)問題として扱うグロス・トゥ・テキスト翻訳に焦点を当てる。 そこで得られた合成データの事前学習により、アメリカ手話(ASL)から英語、ドイツ語手話(DGS)からドイツ語への翻訳を、それぞれ3.14および2.20BLEUまで改善した。
  論文  参考訳（メタデータ） (2021-05-16T16:37:36Z)
• It's not Greek to mBERT: Inducing Word-Level Translations from Multilingual BERT [54.84185432755821]
  mBERT (multilingual BERT) は、言語間での移動を可能にするリッチな言語間表現を学習する。 我々はmBERTに埋め込まれた単語レベルの翻訳情報について検討し、微調整なしで優れた翻訳能力を示す2つの簡単な方法を提案する。
  論文  参考訳（メタデータ） (2020-10-16T09:49:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。