論文の概要: Real-Time Multilingual Sign Language Processing
- arxiv url: http://arxiv.org/abs/2412.01991v1
- Date: Mon, 02 Dec 2024 21:51:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-04 15:50:33.795205
- Title: Real-Time Multilingual Sign Language Processing
- Title（参考訳）: リアルタイム多言語手話処理
- Authors: Amit Moryossef,
- Abstract要約: 手話処理(SLP)は、自然言語処理(NLP)とコンピュータビジョンからなる学際分野である。
伝統的なアプローチは、言語固有のものであり、手話の多次元的な性質を捉えるのに不十分なグロスベースのシステムを使用することによって、しばしば制約されてきた。
本稿では,手話文字起こし表記システムであるSignWiringを,手話の視覚・ジェスチャーのモダリティとテキストに基づく言語表現の中間的リンクとして用いることを提案する。
- 参考スコア（独自算出の注目度）: 4.626189039960495
- License:
- Abstract: Sign Language Processing (SLP) is an interdisciplinary field comprised of Natural Language Processing (NLP) and Computer Vision. It is focused on the computational understanding, translation, and production of signed languages. Traditional approaches have often been constrained by the use of gloss-based systems that are both language-specific and inadequate for capturing the multidimensional nature of sign language. These limitations have hindered the development of technology capable of processing signed languages effectively. This thesis aims to revolutionize the field of SLP by proposing a simple paradigm that can bridge this existing technological gap. We propose the use of SignWiring, a universal sign language transcription notation system, to serve as an intermediary link between the visual-gestural modality of signed languages and text-based linguistic representations. We contribute foundational libraries and resources to the SLP community, thereby setting the stage for a more in-depth exploration of the tasks of sign language translation and production. These tasks encompass the translation of sign language from video to spoken language text and vice versa. Through empirical evaluations, we establish the efficacy of our transcription method as a pivot for enabling faster, more targeted research, that can lead to more natural and accurate translations across a range of languages. The universal nature of our transcription-based paradigm also paves the way for real-time, multilingual applications in SLP, thereby offering a more inclusive and accessible approach to language technology. This is a significant step toward universal accessibility, enabling a wider reach of AI-driven language technologies to include the deaf and hard-of-hearing community.
- Abstract（参考訳）: 手話処理(SLP)は、自然言語処理(NLP)とコンピュータビジョンからなる学際分野である。
署名された言語の理解、翻訳、生産に重点を置いている。
伝統的なアプローチは、言語固有のものであり、手話の多次元的な性質を捉えるのに不十分なグロスベースのシステムを使用することによって、しばしば制約されてきた。
これらの制限により、署名された言語を効果的に処理できる技術の開発が妨げられている。
この論文は、既存の技術的ギャップを埋めるシンプルなパラダイムを提案し、SLPの分野に革命をもたらすことを目的としている。
本稿では,手話文字起こし表記システムであるSignWiringを,手話の視覚・ジェスチャーのモダリティとテキストに基づく言語表現の中間的リンクとして用いることを提案する。
我々は,SLPコミュニティに基礎図書館と資源を寄贈し,手話翻訳と生産の課題をより深く探求する舞台を整える。
これらのタスクは、ビデオから音声言語テキストへの手話の翻訳と、その逆を含む。
実験的な評価を通じて、より速く、よりターゲットを絞った研究を可能にするピボットとして、我々の転写法の有効性を確立し、より自然な、より正確な翻訳を様々な言語で実現する。
我々の書き起こしに基づくパラダイムの普遍的な性質は、SLPにおけるリアルタイム多言語アプリケーションへの道を開くことで、より包括的でアクセスしやすい言語技術を提供する。
これは、普遍的なアクセシビリティに向けた重要なステップであり、AI駆動型言語技術の広い範囲に、聴覚障害と難聴者コミュニティを含めることができる。
関連論文リスト
- GLaM-Sign: Greek Language Multimodal Lip Reading with Integrated Sign Language Accessibility [0.0]
このデータセットは、ブリッジング通信ギャップにおけるマルチモーダルリソースの変換可能性を強調する。
これはアクセシビリティとマルチモーダルAIにおいて画期的なリソースであり、Deaf and Hard-of-Hearing(DHH)個人をサポートするように設計されている。
論文 参考訳（メタデータ） (2025-01-09T13:06:47Z) - Enhancing Entertainment Translation for Indian Languages using Adaptive Context, Style and LLMs [3.55026004901472]
本稿では,現在のセッションの文脈とスタイルを推定するアルゴリズムを導入し,これらの推定値を用いてLLM(Large Language Model)を誘導し,高品質な翻訳を生成するプロンプトを生成する。
本手法はLLMに依存しない言語であり,汎用ツールである。
論文 参考訳（メタデータ） (2024-12-29T11:33:51Z) - Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである
LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。
既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
論文 参考訳（メタデータ） (2024-10-06T08:51:30Z) - SCOPE: Sign Language Contextual Processing with Embedding from LLMs [49.5629738637893]
世界中の約7000万人の聴覚障害者が使用する手話は、視覚的および文脈的な情報を伝える視覚言語である。
視覚に基づく手話認識(SLR)と翻訳(SLT)の現在の手法は、限られたデータセットの多様性と文脈に関連のある情報の無視により、対話シーンに苦慮している。
SCOPEは、コンテキスト認識型ビジョンベースSLRおよびSLTフレームワークである。
論文 参考訳（メタデータ） (2024-09-02T08:56:12Z) - Addressing the Blind Spots in Spoken Language Processing [4.626189039960495]
人間のコミュニケーションを理解するには、非言語的要素を含むために、テキスト語や音声語を超越した、より包括的なアプローチが必要である、と我々は主張する。
本稿では,これらの非言語的手がかりをテキスト形式で書き起こす汎用的な自動ジェスチャーセグメンテーションと書き起こしモデルの開発を提案する。
論文 参考訳（メタデータ） (2023-09-06T10:29:25Z) - PADL: Language-Directed Physics-Based Character Control [66.517142635815]
本稿では,文字が行うべきハイレベルなタスクと低レベルなスキルを指定するために,ユーザが自然言語コマンドを発行できるようにするPADLを提案する。
我々は,シミュレーションされたヒューマノイドキャラクタを効果的に誘導し,多種多様な複雑な運動能力を実現するために,本フレームワークを適用した。
論文 参考訳（メタデータ） (2023-01-31T18:59:22Z) - On the cross-lingual transferability of multilingual prototypical models
across NLU tasks [2.44288434255221]
教師付きディープラーニングベースのアプローチはタスク指向のダイアログに適用され、限られたドメインや言語アプリケーションに有効であることが証明されている。
実際には、これらのアプローチはドメイン駆動設計とアンダーリソース言語の欠点に悩まされている。
本稿では,原型ニューラルネットワークと多言語トランスフォーマーモデルを用いた相乗的少数ショット学習の言語間変換可能性について検討する。
論文 参考訳（メタデータ） (2022-07-19T09:55:04Z) - Expanding Pretrained Models to Thousands More Languages via
Lexicon-based Adaptation [133.7313847857935]
我々の研究は、NLPメソッドが現在の技術で不足している何千もの言語にどのように適応できるかを強調した。
3つのタスクにまたがる19の非表現言語に対して、我々の手法は、それぞれ追加のモノリンガルテキストによる最大5点と15点の改善をもたらす。
論文 参考訳（メタデータ） (2022-03-17T16:48:22Z) - All You Need In Sign Language Production [50.3955314892191]
言語認識と生産のサインは、いくつかの重要な課題に対処する必要があります。
本稿では,難聴文化,難聴センター,手話の心理的視点について紹介する。
また、SLPのバックボーンアーキテクチャや手法を簡潔に紹介し、SLPの分類について提案する。
論文 参考訳（メタデータ） (2022-01-05T13:45:09Z) - Including Signed Languages in Natural Language Processing [48.62744923724317]
署名された言語は、聴覚障害者や難聴者のコミュニケーションの主な手段です。
このポジショニングペーパーは、NLPコミュニティに対して、社会的および科学的影響の高い研究領域として署名された言語を含めるよう求めている。
論文 参考訳（メタデータ） (2021-05-11T17:37:55Z) - Multilingual Chart-based Constituency Parse Extraction from Pre-trained
Language Models [21.2879567125422]
本稿では,事前学習した言語モデルから完全(バイナリ)構文を抽出する手法を提案する。
本手法を多言語 PLM に適用することにより,9つの言語から文に対する非自明なパースを導き出すことができる。
論文 参考訳（メタデータ） (2020-04-08T05:42:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。