論文の概要: sign.mt: Real-Time Multilingual Sign Language Translation Application
- arxiv url: http://arxiv.org/abs/2310.05064v1
- Date: Sun, 8 Oct 2023 08:14:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 12:56:53.981552
- Title: sign.mt: Real-Time Multilingual Sign Language Translation Application
- Title（参考訳）: sign.mt: リアルタイム多言語手話翻訳アプリケーション
- Authors: Amit Moryossef
- Abstract要約: Sign.mtは、音声言語と署名された言語間のリアルタイム多言語双方向翻訳の先駆的なオープンソースアプリケーションである。
聴覚と聴覚のコミュニケーションの相違に対処することを目的としており、音声と署名と署名の両方の方向のシームレスな翻訳を容易にする。
アプリは個人的および学術的な用途で使用、変更可能で、翻訳APIもサポートしている。
- 参考スコア（独自算出の注目度）: 4.626189039960495
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This demo paper presents sign.mt, an open-source application pioneering
real-time multilingual bi-directional translation between spoken and signed
languages. Harnessing state-of-the-art open-source models, this tool aims to
address the communication divide between the hearing and the deaf, facilitating
seamless translation in both spoken-to-signed and signed-to-spoken translation
directions.
Promising reliable and unrestricted communication, sign.mt offers offline
functionality, crucial in areas with limited internet connectivity. It further
enhances user engagement by offering customizable photo-realistic sign language
avatars, thereby encouraging a more personalized and authentic user experience.
Licensed under CC BY-NC-SA 4.0, sign.mt signifies an important stride towards
open, inclusive communication. The app can be used, and modified for personal
and academic uses, and even supports a translation API, fostering integration
into a wider range of applications. However, it is by no means a finished
product.
We invite the NLP community to contribute towards the evolution of sign.mt.
Whether it be the integration of more refined models, the development of
innovative pipelines, or user experience improvements, your contributions can
propel this project to new heights. Available at https://sign.mt, it stands as
a testament to what we can achieve together, as we strive to make communication
accessible to all.
- Abstract（参考訳）: 音声と符号付き言語間のリアルタイム多言語双方向翻訳の先駆的なオープンソースアプリケーションであるsign.mtを提案する。
最先端のオープンソースモデルを利用して、このツールは聴覚と聴覚のコミュニケーションの格差に対処し、話し声から話し声への変換と話し声への変換の両方でシームレスな翻訳を容易にする。
sign.mtは信頼性と無制限の通信をプロットし、オフライン機能を提供する。
カスタマイズ可能な写真リアリスティックな手話アバターを提供することにより、ユーザエンゲージメントをさらに強化し、よりパーソナライズされ、認証されたユーザエクスペリエンスを促進する。
CC BY-NC-SA 4.0 でライセンスされている sign.mt はオープンで包括的なコミュニケーションに向けた重要な一歩である。
アプリは個人や学術的な用途で使用、変更可能で、翻訳APIもサポートしており、幅広いアプリケーションへの統合を促進することができる。
しかし、それは決して完成品ではない。
我々はNLPコミュニティにSign.mtの進化への貢献を依頼する。
より洗練されたモデルの統合、イノベーティブなパイプラインの開発、あるいはユーザエクスペリエンスの改善といったものであれ、あなたのコントリビューションは、このプロジェクトを新たなレベルまで進めることができます。
https://sign.mt.comで公開されており、コミュニケーションを誰にでもアクセスできるようにするため、一緒にできることの証として機能する。
関連論文リスト
- Enhanced Sign Language Translation between American Sign Language (ASL) and Indian Sign Language (ISL) Using LLMs [0.2678472239880052]
我々は、アメリカ手話の利用者と話し言葉とインド手話(ISL)の利用者の間に橋渡しを提供することを目標とする研究を思いついた。
このフレームワークは、ジェスチャーの可変性の自動処理や、ASLとISLの言語的違いを克服するといった重要な課題に対処する。
論文 参考訳（メタデータ） (2024-11-19T17:45:12Z) - Scaling up Multimodal Pre-training for Sign Language Understanding [96.17753464544604]
手話は、難聴者コミュニティにとってコミュニケーションの主要な意味である。
難聴者と聴覚者のコミュニケーションを容易にするために,手話理解(SLU)タスクのシリーズが研究されている。
これらの課題は、多様な視点から手話のトピックを調査し、手話ビデオの効果的な表現を学ぶ上での課題を提起する。
論文 参考訳（メタデータ） (2024-08-16T06:04:25Z) - EvSign: Sign Language Recognition and Translation with Streaming Events [59.51655336911345]
イベントカメラは、動的手の動きを自然に知覚し、手話作業のための豊富な手作業の手がかりを提供する。
イベントベースSLRおよびSLTタスクのための効率的なトランスフォーマーベースフレームワークを提案する。
計算コストは0.34%に過ぎず,既存の最先端手法に対して良好に機能する。
論文 参考訳（メタデータ） (2024-07-17T14:16:35Z) - iSign: A Benchmark for Indian Sign Language Processing [5.967764101493575]
iSignは、Indian Sign Language (ISL) 処理のベンチマークである。
我々は118K以上のビデオ文/フレーズペアを持つ最大のISL- Englishデータセットの1つをリリースする。
ISLの動作に関するいくつかの言語的な洞察を、提案したベンチマークに関する洞察を提供する。
論文 参考訳（メタデータ） (2024-07-07T15:07:35Z) - A Transformer-Based Multi-Stream Approach for Isolated Iranian Sign Language Recognition [0.0]
本研究の目的は,イラン手話語をトランスフォーマーなどの最新のディープラーニングツールの助けを借りて認識することである。
使用されるデータセットには、大学などの学術環境で頻繁に使用されるイラン手話101語が含まれている。
論文 参考訳（メタデータ） (2024-06-27T06:54:25Z) - Sign2GPT: Leveraging Large Language Models for Gloss-Free Sign Language Translation [30.008980708977095]
我々は手話翻訳の新しいフレームワークSign2GPTを紹介する。
本稿では,自動抽出した擬似グルースから符号表現を学習するようエンコーダに指示する,新しい事前学習戦略を提案する。
我々は2つの公開ベンチマーク手話翻訳データセットに対するアプローチを評価した。
論文 参考訳（メタデータ） (2024-05-07T10:00:38Z) - CMULAB: An Open-Source Framework for Training and Deployment of Natural Language Processing Models [59.91221728187576]
本稿では,NLPモデルのモデル展開と連続的なヒューマン・イン・ザ・ループの微調整を簡単にするオープンソースフレームワークであるCMU言語バックエンドを紹介する。
CMULABは、マルチ言語モデルのパワーを活用して、音声認識、OCR、翻訳、構文解析などの既存のツールを新しい言語に迅速に適応し、拡張することができる。
論文 参考訳（メタデータ） (2024-04-03T02:21:46Z) - DiffSLVA: Harnessing Diffusion Models for Sign Language Video
Anonymization [33.18321022815901]
テキスト誘導手話ビデオ匿名化のための新しい手法であるDiffSLVAを紹介する。
我々は,署名された言語で言語情報を伝達するために重要な,表情をキャプチャーする専用のモジュールを開発する。
この革新的な方法論は、初めて、現実世界のアプリケーションに使用できる言語ビデオの匿名化を可能にする。
論文 参考訳（メタデータ） (2023-11-27T18:26:19Z) - ChatDev: Communicative Agents for Software Development [84.90400377131962]
ChatDevはチャットを利用したソフトウェア開発フレームワークで、特別なエージェントがコミュニケーション方法についてガイドされる。
これらのエージェントは、統一された言語ベースのコミュニケーションを通じて、設計、コーディング、テストフェーズに積極的に貢献する。
論文 参考訳（メタデータ） (2023-07-16T02:11:34Z) - SimulSLT: End-to-End Simultaneous Sign Language Translation [55.54237194555432]
既存の手話翻訳手法では、翻訳を開始する前にすべてのビデオを読む必要がある。
我々は,最初のエンドツーエンド同時手話翻訳モデルであるSimulSLTを提案する。
SimulSLTは最新のエンドツーエンドの非同時手話翻訳モデルを超えるBLEUスコアを達成する。
論文 参考訳（メタデータ） (2021-12-08T11:04:52Z) - Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
手話は聴覚障害者や言語障害者のコミュニケーションに使用される。
また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。
近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
論文 参考訳（メタデータ） (2021-03-16T03:38:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。