論文の概要: sign.mt: Real-Time Multilingual Sign Language Translation Application
- arxiv url: http://arxiv.org/abs/2310.05064v1
- Date: Sun, 8 Oct 2023 08:14:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 12:56:53.981552
- Title: sign.mt: Real-Time Multilingual Sign Language Translation Application
- Title(参考訳): sign.mt: リアルタイム多言語手話翻訳アプリケーション
- Authors: Amit Moryossef
- Abstract要約: Sign.mtは、音声言語と署名された言語間のリアルタイム多言語双方向翻訳の先駆的なオープンソースアプリケーションである。
聴覚と聴覚のコミュニケーションの相違に対処することを目的としており、音声と署名と署名の両方の方向のシームレスな翻訳を容易にする。
アプリは個人的および学術的な用途で使用、変更可能で、翻訳APIもサポートしている。
- 参考スコア(独自算出の注目度): 4.626189039960495
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This demo paper presents sign.mt, an open-source application pioneering
real-time multilingual bi-directional translation between spoken and signed
languages. Harnessing state-of-the-art open-source models, this tool aims to
address the communication divide between the hearing and the deaf, facilitating
seamless translation in both spoken-to-signed and signed-to-spoken translation
directions.
Promising reliable and unrestricted communication, sign.mt offers offline
functionality, crucial in areas with limited internet connectivity. It further
enhances user engagement by offering customizable photo-realistic sign language
avatars, thereby encouraging a more personalized and authentic user experience.
Licensed under CC BY-NC-SA 4.0, sign.mt signifies an important stride towards
open, inclusive communication. The app can be used, and modified for personal
and academic uses, and even supports a translation API, fostering integration
into a wider range of applications. However, it is by no means a finished
product.
We invite the NLP community to contribute towards the evolution of sign.mt.
Whether it be the integration of more refined models, the development of
innovative pipelines, or user experience improvements, your contributions can
propel this project to new heights. Available at https://sign.mt, it stands as
a testament to what we can achieve together, as we strive to make communication
accessible to all.
- Abstract(参考訳): 音声と符号付き言語間のリアルタイム多言語双方向翻訳の先駆的なオープンソースアプリケーションであるsign.mtを提案する。
最先端のオープンソースモデルを利用して、このツールは聴覚と聴覚のコミュニケーションの格差に対処し、話し声から話し声への変換と話し声への変換の両方でシームレスな翻訳を容易にする。
sign.mtは信頼性と無制限の通信をプロットし、オフライン機能を提供する。
カスタマイズ可能な写真リアリスティックな手話アバターを提供することにより、ユーザエンゲージメントをさらに強化し、よりパーソナライズされ、認証されたユーザエクスペリエンスを促進する。
CC BY-NC-SA 4.0 でライセンスされている sign.mt はオープンで包括的なコミュニケーションに向けた重要な一歩である。
アプリは個人や学術的な用途で使用、変更可能で、翻訳APIもサポートしており、幅広いアプリケーションへの統合を促進することができる。
しかし、それは決して完成品ではない。
我々はNLPコミュニティにSign.mtの進化への貢献を依頼する。
より洗練されたモデルの統合、イノベーティブなパイプラインの開発、あるいはユーザエクスペリエンスの改善といったものであれ、あなたのコントリビューションは、このプロジェクトを新たなレベルまで進めることができます。
https://sign.mt.comで公開されており、コミュニケーションを誰にでもアクセスできるようにするため、一緒にできることの証として機能する。
関連論文リスト
- Sign2GPT: Leveraging Large Language Models for Gloss-Free Sign Language Translation [30.008980708977095]
我々は手話翻訳の新しいフレームワークSign2GPTを紹介する。
本稿では,自動抽出した擬似グルースから符号表現を学習するようエンコーダに指示する,新しい事前学習戦略を提案する。
我々は2つの公開ベンチマーク手話翻訳データセットに対するアプローチを評価した。
論文 参考訳(メタデータ) (2024-05-07T10:00:38Z) - CMULAB: An Open-Source Framework for Training and Deployment of Natural Language Processing Models [59.91221728187576]
本稿では,NLPモデルのモデル展開と連続的なヒューマン・イン・ザ・ループの微調整を簡単にするオープンソースフレームワークであるCMU言語バックエンドを紹介する。
CMULABは、マルチ言語モデルのパワーを活用して、音声認識、OCR、翻訳、構文解析などの既存のツールを新しい言語に迅速に適応し、拡張することができる。
論文 参考訳(メタデータ) (2024-04-03T02:21:46Z) - A Simple Baseline for Spoken Language to Sign Language Translation with
3D Avatars [52.56042673495026]
Spoken2Signは、音声言語を手話に変換するシステムである。
Spoken2Signタスクを3Dサインの出力フォーマットで最初に提示します。
論文 参考訳(メタデータ) (2024-01-09T18:59:49Z) - DiffSLVA: Harnessing Diffusion Models for Sign Language Video
Anonymization [33.18321022815901]
テキスト誘導手話ビデオ匿名化のための新しい手法であるDiffSLVAを紹介する。
我々は,署名された言語で言語情報を伝達するために重要な,表情をキャプチャーする専用のモジュールを開発する。
この革新的な方法論は、初めて、現実世界のアプリケーションに使用できる言語ビデオの匿名化を可能にする。
論文 参考訳(メタデータ) (2023-11-27T18:26:19Z) - Improving Continuous Sign Language Recognition with Cross-Lingual Signs [29.077175863743484]
本稿では,多言語手話コーパスを用いた連続手話認識の実現可能性について検討する。
まず、2つのデータセットに現れる独立した記号を含む2つの手話辞書を構築します。
次に、適切に最適化された手話認識モデルを用いて、2つの手話間の手話間の手話マッピングを同定する。
論文 参考訳(メタデータ) (2023-08-21T15:58:47Z) - ISLTranslate: Dataset for Translating Indian Sign Language [4.836352379142503]
In this paper introduced ISLTranslate, a translation dataset for continuous Indian Sign Language (ISL) with 31k ISL- English sentence/phrase pairs。
私たちの知る限りでは、これは連続したインド手話のための翻訳データセットとしては最大のものです。
論文 参考訳(メタデータ) (2023-07-11T17:06:52Z) - Cross-modality Data Augmentation for End-to-End Sign Language
Translation [71.31075396354406]
エンドツーエンド手話翻訳(SLT)は、手話動画を中間表現なしで直接音声言語テキストに変換することを目的としている。
本稿では,強力な光沢からテキストへの翻訳機能をエンドツーエンドの手話翻訳に変換するための,新しいクロスモダリティデータ拡張(XmDA)フレームワークを提案する。
XmDAは、クロスモダリティ混合とクロスモダリティ知識蒸留という2つの重要な構成要素から構成される。
論文 参考訳(メタデータ) (2023-05-18T16:34:18Z) - A Simple Multi-Modality Transfer Learning Baseline for Sign Language
Translation [54.29679610921429]
既存の手話データセットには、約10K-20Kの手話ビデオ、グロスアノテーション、テキストが含まれています。
したがって、データは効果的な手話翻訳モデルの訓練のボトルネックとなる。
この単純なベースラインは、2つの手話翻訳ベンチマークで過去の最先端の結果を上回っている。
論文 参考訳(メタデータ) (2022-03-08T18:59:56Z) - SimulSLT: End-to-End Simultaneous Sign Language Translation [55.54237194555432]
既存の手話翻訳手法では、翻訳を開始する前にすべてのビデオを読む必要がある。
我々は,最初のエンドツーエンド同時手話翻訳モデルであるSimulSLTを提案する。
SimulSLTは最新のエンドツーエンドの非同時手話翻訳モデルを超えるBLEUスコアを達成する。
論文 参考訳(メタデータ) (2021-12-08T11:04:52Z) - Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
手話は聴覚障害者や言語障害者のコミュニケーションに使用される。
また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。
近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
論文 参考訳(メタデータ) (2021-03-16T03:38:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。