Fugu-MT 論文翻訳(概要): SignBank+: Preparing a Multilingual Sign Language Dataset for Machine Translation Using Large Language Models

論文の概要: SignBank+: Preparing a Multilingual Sign Language Dataset for Machine Translation Using Large Language Models

arxiv url: http://arxiv.org/abs/2309.11566v2
Date: Thu, 21 Mar 2024 15:31:45 GMT
ステータス: 処理完了
システム内更新日: 2024-03-22 20:06:30.821298
Title: SignBank+: Preparing a Multilingual Sign Language Dataset for Machine Translation Using Large Language Models
Title（参考訳）: SignBank+:大規模言語モデルを用いた機械翻訳のための多言語手話データセットの作成
Authors: Amit Moryossef, Zifan Jiang,
Abstract要約: 我々は、音声言語テキストとSignWriting間の機械翻訳に最適化されたSignBankデータセットのクリーンバージョンであるSignBank+を紹介する。評価結果は、SignBank+でトレーニングされたモデルは、オリジナルのデータセットでトレーニングされたモデルを上回っていることを示している。
参考スコア（独自算出の注目度）: 5.642462264595821
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: We introduce SignBank+, a clean version of the SignBank dataset, optimized for machine translation between spoken language text and SignWriting, a phonetic sign language writing system. In addition to previous work that employs complex factorization techniques to enable translation between text and SignWriting, we show that a traditional text-to-text translation approach performs equally effectively on the cleaned SignBank+ dataset. Our evaluation results indicate that models trained on SignBank+ surpass those on the original dataset, establishing a new benchmark for SignWriting-based sign language translation and providing an open resource for future research.
Abstract（参考訳）: 本稿では,手話テキスト間の機械翻訳に最適化されたSignBankデータセットのクリーンバージョンであるSignBank+と,手話書記システムSignWritingを紹介する。テキストとSignWriting間の翻訳を可能にするための複雑な分解技術を用いた以前の研究に加えて、従来のテキストからテキストへの翻訳アプローチが、クリーン化されたSignBank+データセットに対して等しく効果的に動作することを示す。評価結果は,SignBank+でトレーニングしたモデルがオリジナルのデータセットを上回り,SignWritingベースの手話翻訳のための新しいベンチマークを確立し,将来の研究のためのオープンリソースを提供することを示す。

関連論文リスト

AzSLD: Azerbaijani Sign Language Dataset for Fingerspelling, Word, and Sentence Translation with Baseline Software [0.0]
データセットは、ビジョンベースのAzSL翻訳プロジェクトのフレームワーク内で作成された。 AzSLDには30,000の動画が含まれており、それぞれに正確な記号ラベルと対応する言語翻訳が注記されている。
論文参考訳（メタデータ） (2024-11-19T21:15:47Z)
From Rule-Based Models to Deep Learning Transformers Architectures for Natural Language Processing and Sign Language Translation Systems: Survey, Taxonomy and Performance Evaluation [0.0]
効率的なサイン駆動型統合エンドツーエンド翻訳システムの必要性が高まっている。本稿では,リアルタイムのQOL(Quality-of-Service sign language)ma-chine翻訳システムの要件について述べる。
論文参考訳（メタデータ） (2024-08-27T07:11:45Z)
ISLTranslate: Dataset for Translating Indian Sign Language [4.836352379142503]
In this paper introduced ISLTranslate, a translation dataset for continuous Indian Sign Language (ISL) with 31k ISL- English sentence/phrase pairs。私たちの知る限りでは、これは連続したインド手話のための翻訳データセットとしては最大のものです。
論文参考訳（メタデータ） (2023-07-11T17:06:52Z)
Cross-modality Data Augmentation for End-to-End Sign Language Translation [66.46877279084083]
エンドツーエンド手話翻訳(SLT)は、手話動画を中間表現なしで直接音声言語テキストに変換することを目的としている。署名ビデオとテキスト間のモダリティのギャップとラベル付きデータの不足のため、これは難しい課題だった。本稿では,強力な光沢からテキストへの翻訳機能をエンドツーエンドの手話翻訳に変換するための,新しいクロスモダリティデータ拡張(XmDA)フレームワークを提案する。
論文参考訳（メタデータ） (2023-05-18T16:34:18Z)
LSA-T: The first continuous Argentinian Sign Language dataset for Sign Language Translation [52.87578398308052]
手話翻訳(SLT)は、人間とコンピュータの相互作用、コンピュータビジョン、自然言語処理、機械学習を含む活発な研究分野である。本稿では,最初の連続的アルゼンチン手話(LSA)データセットを提案する。このビデオには、CN Sordos YouTubeチャンネルから抽出されたLCAの14,880の文レベルのビデオと、各署名者のためのラベルとキーポイントアノテーションが含まれている。
論文参考訳（メタデータ） (2022-11-14T14:46:44Z)
Machine Translation between Spoken Languages and Signed Languages Represented in SignWriting [5.17427644066658]
ニューラルファクタリングMTのアイデアを活用し,SignWritingを解析,分解,復号化,評価するための新しい手法を提案する。音声翻訳の改良に使用される一般的なMT技術が手話翻訳の性能にも同様に影響を及ぼすことがわかった。
論文参考訳（メタデータ） (2022-10-11T12:28:06Z)
A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation [54.29679610921429]
既存の手話データセットには、約10K-20Kの手話ビデオ、グロスアノテーション、テキストが含まれています。したがって、データは効果的な手話翻訳モデルの訓練のボトルネックとなる。この単純なベースラインは、2つの手話翻訳ベンチマークで過去の最先端の結果を上回っている。
論文参考訳（メタデータ） (2022-03-08T18:59:56Z)
SimulSLT: End-to-End Simultaneous Sign Language Translation [55.54237194555432]
既存の手話翻訳手法では、翻訳を開始する前にすべてのビデオを読む必要がある。我々は,最初のエンドツーエンド同時手話翻訳モデルであるSimulSLTを提案する。 SimulSLTは最新のエンドツーエンドの非同時手話翻訳モデルを超えるBLEUスコアを達成する。
論文参考訳（メタデータ） (2021-12-08T11:04:52Z)
Improving Sign Language Translation with Monolingual Data by Sign Back-Translation [105.83166521438463]
本稿では,手話テキストを手話訓練に組み込んだ手話逆翻訳(SignBT)手法を提案する。テキストからグロスへの翻訳モデルを用いて、まずモノリンガルテキストをそのグロスシーケンスに逆変換する。そして、推定グロス・トゥ・サインバンクから特徴レベルで部品をスプライシングしてペアサインシーケンスを生成する。
論文参考訳（メタデータ） (2021-05-26T08:49:30Z)
Machine Translation Pre-training for Data-to-Text Generation -- A Case Study in Czech [5.609443065827995]
非英語言語におけるデータ・テキスト生成における機械翻訳に基づく事前学習の有効性について検討する。事前トレーニングによって、パフォーマンスを大幅に向上したエンドツーエンドモデルのトレーニングが可能になります。
論文参考訳（メタデータ） (2020-04-05T02:47:16Z)
Sign Language Transformers: Joint End-to-end Sign Language Recognition and Translation [59.38247587308604]
本稿では,連続手話認識と翻訳を共同で学習するトランスフォーマーアーキテクチャを提案する。 RWTH-PHOENIX-Weather-2014Tデータセットの認識と翻訳性能の評価を行った。我々の翻訳ネットワークは、動画を音声言語に、光沢を音声言語翻訳モデルに、どちらよりも優れています。
論文参考訳（メタデータ） (2020-03-30T21:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。