論文の概要: Machine Translation from Signed to Spoken Languages: State of the Art and Challenges

• arxiv url: http://arxiv.org/abs/2202.03086v1
• Date: Mon, 7 Feb 2022 11:54:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-08 16:06:04.099997
• Title: Machine Translation from Signed to Spoken Languages: State of the Art and Challenges
• Title（参考訳）: 署名言語から音声言語への機械翻訳 -最先端技術と課題-
• Authors: Mathieu De Coster, Dimitar Shterionov, Mieke Van Herreweghe, Joni Dambre
• Abstract要約: 我々は手話言語学と機械翻訳を高度に紹介する。 言語機械翻訳研究の肩に顕著な進歩が見られた。 我々は、学際的な研究を提唱し、手話の言語分析に関する将来の研究を基盤にしている。
• 参考スコア（独自算出の注目度）: 9.292669129832605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic translation from signed to spoken languages is an interdisciplinary research domain, lying on the intersection of computer vision, machine translation and linguistics. Nevertheless, research in this domain is performed mostly by computer scientists in isolation. As the domain is becoming increasingly popular - the majority of scientific papers on the topic of sign language translation have been published in the past three years - we provide an overview of the state of the art as well as some required background in the different related disciplines. We give a high-level introduction to sign language linguistics and machine translation to illustrate the requirements of automatic sign language translation. We present a systematic literature review to illustrate the state of the art in the domain and then, harking back to the requirements, lay out several challenges for future research. We find that significant advances have been made on the shoulders of spoken language machine translation research. However, current approaches are often not linguistically motivated or are not adapted to the different input modality of sign languages. We explore challenges related to the representation of sign language data, the collection of datasets, the need for interdisciplinary research and requirements for moving beyond research, towards applications. Based on our findings, we advocate for interdisciplinary research and to base future research on linguistic analysis of sign languages. Furthermore, the inclusion of deaf and hearing end users of sign language translation applications in use case identification, data collection and evaluation is of the utmost importance in the creation of useful sign language translation models. We recommend iterative, human-in-the-loop, design and development of sign language translation models.
• Abstract（参考訳）: 符号付き言語から音声言語への自動翻訳は、コンピュータビジョン、機械翻訳、言語学の交差点に位置する学際的な研究分野である。 しかし、この領域の研究は主にコンピュータ科学者が単独で行っている。 この領域がますます普及するにつれて、手話翻訳の話題に関する科学論文の大部分は、過去3年間に出版されている。 自動手話翻訳の要件を説明するため,手話言語学と機械翻訳の高レベルな紹介を行う。 本稿では,ドメイン内の技術状況を説明するための体系的な文献レビューを行い,その要件を振り返って,今後の研究の課題をいくつか紹介する。 音声機械翻訳研究の肩に重要な進歩が見られた。 しかし、現在のアプローチは言語的に動機づけられたり、手話の異なる入力モダリティに適応しないことが多い。 我々は,手話データの表現,データセットの収集,学際的な研究の必要性,研究を超えてアプリケーションに移行するための要件などについて検討する。 本研究は,手話の言語分析における学際研究と今後の研究の基盤となるものと考えられる。 さらに,手話翻訳アプリケーションにおける聴覚障害や聴覚障害をユースケース識別,データ収集,評価に含めることは,手話翻訳モデルの作成において最も重要である。 我々は手話翻訳モデルの設計と開発を反復的に行うことを推奨する。

関連論文リスト

• From Rule-Based Models to Deep Learning Transformers Architectures for Natural Language Processing and Sign Language Translation Systems: Survey, Taxonomy and Performance Evaluation [0.0]
  効率的なサイン駆動型統合エンドツーエンド翻訳システムの必要性が高まっている。 本稿では,リアルタイムのQOL(Quality-of-Service sign language)ma-chine翻訳システムの要件について述べる。
  論文  参考訳（メタデータ） (2024-08-27T07:11:45Z)
• Understanding Cross-Lingual Alignment -- A Survey [52.572071017877704]
  言語間アライメントは多言語言語モデルにおける言語間の表現の有意義な類似性である。 本研究は,言語間アライメントの向上,手法の分類,分野全体からの洞察の要約といった手法の文献を調査する。
  論文  参考訳（メタデータ） (2024-04-09T11:39:53Z)
• Systemic Biases in Sign Language AI Research: A Deaf-Led Call to Reevaluate Research Agendas [1.9285000127136378]
  我々は手話AIに関する最近の101論文を体系的にレビューする。 我々は手話AI研究の現状における重要なバイアスを識別する。 私たちは、この分野にはDeaf利害関係者からの有意義なインプットがないという立場を取っています。
  論文  参考訳（メタデータ） (2024-03-05T00:37:36Z)
• JWSign: A Highly Multilingual Corpus of Bible Translations for more Diversity in Sign Language Processing [2.9936326613596775]
  JWSignデータセットは98の手話言語で2,530時間の聖書翻訳で構成されている。 我々は、署名された言語や話し言葉の類型的関連性を考慮して、多言語システムを訓練する。
  論文  参考訳（メタデータ） (2023-11-16T20:02:44Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Including Signed Languages in Natural Language Processing [48.62744923724317]
  署名された言語は、聴覚障害者や難聴者のコミュニケーションの主な手段です。 このポジショニングペーパーは、NLPコミュニティに対して、社会的および科学的影響の高い研究領域として署名された言語を含めるよう求めている。
  論文  参考訳（メタデータ） (2021-05-11T17:37:55Z)
• Crossing the Conversational Chasm: A Primer on Multilingual Task-Oriented Dialogue Systems [51.328224222640614]
  大規模な学習済みニューラルネットワークモデルに基づく最新のTODモデルは、データ空腹です。 ToDのユースケースのデータ取得は高価で面倒だ。
  論文  参考訳（メタデータ） (2021-04-17T15:19:56Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)
• Sign Language Transformers: Joint End-to-end Sign Language Recognition and Translation [59.38247587308604]
  本稿では,連続手話認識と翻訳を共同で学習するトランスフォーマーアーキテクチャを提案する。 RWTH-PHOENIX-Weather-2014Tデータセットの認識と翻訳性能の評価を行った。 我々の翻訳ネットワークは、動画を音声言語に、光沢を音声言語翻訳モデルに、どちらよりも優れています。
  論文  参考訳（メタデータ） (2020-03-30T21:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。