論文の概要: Machine Translation between Spoken Languages and Signed Languages Represented in SignWriting

• arxiv url: http://arxiv.org/abs/2210.05404v1
• Date: Tue, 11 Oct 2022 12:28:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 15:45:46.929595
• Title: Machine Translation between Spoken Languages and Signed Languages Represented in SignWriting
• Title（参考訳）: 手書き文字で表される音声言語と手話言語間の機械翻訳
• Authors: Zifan Jiang, Amit Moryossef, Mathias M\"uller, Sarah Ebling
• Abstract要約: ニューラルファクタリングMTのアイデアを活用し,SignWritingを解析,分解,復号化,評価するための新しい手法を提案する。 音声翻訳の改良に使用される一般的なMT技術が手話翻訳の性能にも同様に影響を及ぼすことがわかった。
• 参考スコア（独自算出の注目度）: 5.17427644066658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents work on novel machine translation (MT) systems between spoken and signed languages, where signed languages are represented in SignWriting, a sign language writing system. Our work seeks to address the lack of out-of-the-box support for signed languages in current MT systems and is based on the SignBank dataset, which contains pairs of spoken language text and SignWriting content. We introduce novel methods to parse, factorize, decode, and evaluate SignWriting, leveraging ideas from neural factored MT. In a bilingual setup--translating from American Sign Language to (American) English--our method achieves over 30 BLEU, while in two multilingual setups--translating in both directions between spoken languages and signed languages--we achieve over 20 BLEU. We find that common MT techniques used to improve spoken language translation similarly affect the performance of sign language translation. These findings validate our use of an intermediate text representation for signed languages to include them in natural language processing research.
• Abstract（参考訳）: 本稿では,手話書き起こしシステムであるSignWritingで署名言語を表現した音声と署名言語間の新しい機械翻訳(MT)システムについて述べる。 私たちの研究は、現行のmtシステムにおける署名済み言語のサポートの欠如に対処し、スピーチ言語テキストとサインライティングコンテンツのペアを含むsignbankデータセットをベースにしています。 本稿では,ニューラルファクタリングMTのアイデアを活用して手話の構文解析,分解,復号化,評価を行う新しい手法を提案する。アメリカ手話から(アメリカ)英語へのバイリンガルなセットアップでは,30BLEU以上を達成し,音声言語と署名言語間の双方向な翻訳では20BLEU以上を達成している。 音声翻訳の改良に使用される一般的なMT技術が手話翻訳の性能に影響を及ぼすことがわかった。 これらの知見は, 自然言語処理研究において, 署名言語における中間テキスト表現の使用を実証するものである。

関連論文リスト

• Scaling up Multimodal Pre-training for Sign Language Understanding [96.17753464544604]
  手話は、難聴者コミュニティにとってコミュニケーションの主要な意味である。 難聴者と聴覚者のコミュニケーションを容易にするために,手話理解(SLU)タスクのシリーズが研究されている。 これらの課題は、多様な視点から手話のトピックを調査し、手話ビデオの効果的な表現を学ぶ上での課題を提起する。
  論文  参考訳（メタデータ） (2024-08-16T06:04:25Z)
• SignCLIP: Connecting Text and Sign Language by Contrastive Learning [39.72545568965546]
  SignCLIPは、大規模な多言語ビデオテキストペアから手話処理に有用な視覚表現を学習する効率的な方法である。 SpreadthesignでSignCLIPを事前訓練し,最大44の手話で5万本のビデオクリップを収録した手話辞書を作成した。 我々は、音声言語テキストと手話ポーズによって形成される潜伏空間を分析し、さらなる言語学的洞察を提供する。
  論文  参考訳（メタデータ） (2024-07-01T13:17:35Z)
• SignBLEU: Automatic Evaluation of Multi-channel Sign Language Translation [3.9711029428461653]
  マルチチャネル手話翻訳(MCSLT)という新しいタスクを導入する。 本稿では,複数の信号チャネルを捕捉する新しい測度であるSignBLEUを提案する。 SignBLEUは、競合する指標よりも、人間の判断と常に相関していることがわかった。
  論文  参考訳（メタデータ） (2024-06-10T05:01:26Z)
• LLMs are Good Sign Language Translators [19.259163728870696]
  手話翻訳は,手話動画を音声言語に翻訳することを目的とした課題である。 本稿では,手話動画を言語的表現に変換する新しいSignLLMフレームワークを提案する。 広範に使用されている2つのSLTベンチマークにおいて、最先端のグロスフリーな結果が得られる。
  論文  参考訳（メタデータ） (2024-04-01T05:07:13Z)
• JWSign: A Highly Multilingual Corpus of Bible Translations for more Diversity in Sign Language Processing [2.9936326613596775]
  JWSignデータセットは98の手話言語で2,530時間の聖書翻訳で構成されている。 我々は、署名された言語や話し言葉の類型的関連性を考慮して、多言語システムを訓練する。
  論文  参考訳（メタデータ） (2023-11-16T20:02:44Z)
• Enhancing Cross-lingual Transfer via Phonemic Transcription Integration [57.109031654219294]
  PhoneXLは、音素転写を言語間移動のための追加のモダリティとして組み込んだフレームワークである。 本研究は, 音素転写が, 言語間移動を促進するために, 正書法以外の重要な情報を提供することを示すものである。
  論文  参考訳（メタデータ） (2023-07-10T06:17:33Z)
• LVP-M3: Language-aware Visual Prompt for Multilingual Multimodal Machine Translation [94.33019040320507]
  マルチモーダル機械翻訳(MMT)は、視覚的特徴を持つテキストのみの翻訳を強化することに焦点を当てている。 最近の進歩は、各言語ペアごとに別々のモデルをトレーニングすることに苦慮している。 7つの言語をカバーする2つのMultilingual MMTベンチマークデータセットを確立することで,Multilingual MMTタスクを提案する。
  論文  参考訳（メタデータ） (2022-10-19T12:21:39Z)
• LAE: Language-Aware Encoder for Monolingual and Multilingual ASR [87.74794847245536]
  言語固有の情報を混在させることにより,両状況に対処する新しい言語対応エンコーダ (LAE) アーキテクチャを提案する。 マンダリン・イングリッシュ・コードスウィッチ音声を用いた実験により,LAEはフレームレベルで異なる言語を識別できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-05T04:03:12Z)
• Alternative Input Signals Ease Transfer in Multilingual Machine Translation [21.088829932208945]
  我々は、異なる筆記システムを統合する代替信号でトレーニングデータを増強することで、転送の抑制に取り組む。 我々はこれらのシグナルを、言語が共通の特徴を共有している2つの言語族であるインディク語とテュルク語でテストする。
  論文  参考訳（メタデータ） (2021-10-15T01:56:46Z)
• Looking for Clues of Language in Multilingual BERT to Improve Cross-lingual Generalization [56.87201892585477]
  多言語BERT (m-BERT) には、言語情報と意味情報の両方が含まれている。 トークン埋め込みを操作することで多言語BERTの出力言語を制御する。
  論文  参考訳（メタデータ） (2020-10-20T05:41:35Z)
• Sign Language Transformers: Joint End-to-end Sign Language Recognition and Translation [59.38247587308604]
  本稿では,連続手話認識と翻訳を共同で学習するトランスフォーマーアーキテクチャを提案する。 RWTH-PHOENIX-Weather-2014Tデータセットの認識と翻訳性能の評価を行った。 我々の翻訳ネットワークは、動画を音声言語に、光沢を音声言語翻訳モデルに、どちらよりも優れています。
  論文  参考訳（メタデータ） (2020-03-30T21:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。