論文の概要: Multilingual Communication System with Deaf Individuals Utilizing Natural and Visual Languages

• arxiv url: http://arxiv.org/abs/2212.00305v1
• Date: Thu, 1 Dec 2022 06:43:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 16:13:43.683576
• Title: Multilingual Communication System with Deaf Individuals Utilizing Natural and Visual Languages
• Title（参考訳）: 自然言語と視覚言語を用いた聴覚障害者の多言語コミュニケーションシステム
• Authors: Tuan-Luc Huynh, Khoi-Nguyen Nguyen-Ngoc, Chi-Bien Chu, Minh-Triet Tran, Trung-Nghia Le
• Abstract要約: 我々は,手話利用者のコミュニケーション効率を向上させるために,MUGCATという新しい多言語通信システムを提案する。 我々のMUGCATシステムは、認識された特定の手の動きを表現力のある画像に変換することで、聴覚障害者が自分の思考を伝えるのに大いに役立ちます。
• 参考スコア（独自算出の注目度）: 12.369283590206628
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: According to the World Federation of the Deaf, more than two hundred sign languages exist. Therefore, it is challenging to understand deaf individuals, even proficient sign language users, resulting in a barrier between the deaf community and the rest of society. To bridge this language barrier, we propose a novel multilingual communication system, namely MUGCAT, to improve the communication efficiency of sign language users. By converting recognized specific hand gestures into expressive pictures, which is universal usage and language independence, our MUGCAT system significantly helps deaf people convey their thoughts. To overcome the limitation of sign language usage, which is mostly impossible to translate into complete sentences for ordinary people, we propose to reconstruct meaningful sentences from the incomplete translation of sign language. We also measure the semantic similarity of generated sentences with fragmented recognized hand gestures to keep the original meaning. Experimental results show that the proposed system can work in a real-time manner and synthesize exquisite stunning illustrations and meaningful sentences from a few hand gestures of sign language. This proves that our MUGCAT has promising potential in assisting deaf communication.
• Abstract（参考訳）: 世界聴覚障害者連盟によると、200以上の手話が存在する。 そのため、手話の熟練者でさえも聴覚障害の個人を理解することは困難であり、聴覚障害のコミュニティと社会の他の部分との障壁となる。 この言語障壁を埋めるため,手話利用者のコミュニケーション効率を向上させるために,MUGCATという新しい多言語通信システムを提案する。 認識された特定の手の動きを、普遍的な使用法と言語独立性である表現力のある画像に変換することで、私たちのMUGCATシステムは、聴覚障害者が自分の思考を伝えるのに大いに役立ちます。 手話使用の限界を克服するために,手話不完全翻訳から意味のある文を再構築する手法を提案する。 また, 生成文の意味的類似度を, 認識された手振りで測定し, 元の意味を維持した。 実験結果から,手話の手話のジェスチャーから,実感的なイラストや意味のある文章を合成し,リアルタイムに動作できることが示唆された。 このことは、MUGCATが聴覚障害者のコミュニケーションを支援する有望な可能性を証明している。

関連論文リスト

• Scaling up Multimodal Pre-training for Sign Language Understanding [96.17753464544604]
  手話は、難聴者コミュニティにとってコミュニケーションの主要な意味である。 難聴者と聴覚者のコミュニケーションを容易にするために,手話理解(SLU)タスクのシリーズが研究されている。 これらの課題は、多様な視点から手話のトピックを調査し、手話ビデオの効果的な表現を学ぶ上での課題を提起する。
  論文  参考訳（メタデータ） (2024-08-16T06:04:25Z)
• Image-based Indian Sign Language Recognition: A Practical Review using Deep Neural Networks [0.0]
  このモデルは、手話をテキストに変換するリアルタイムな単語レベル手話認識システムを開発することを目的としている。 この分析のために、ユーザはWebカメラを使って手の動きの写真を撮らなければならない。 我々のモデルは畳み込みニューラルネットワーク(CNN)を用いて訓練され、画像の認識に使用される。
  論文  参考訳（メタデータ） (2023-04-28T09:27:04Z)
• Indian Sign Language Recognition Using Mediapipe Holistic [0.0]
  インド手話をテキストや音声に変換するために,手話認識のための堅牢なシステムを構築する。 サイン言語に依存した聴覚障害と難聴者のコミュニケーション能力を高めるため、テキスト・ツー・サイン言語パラダイムの作成が不可欠である。
  論文  参考訳（メタデータ） (2023-04-20T12:25:47Z)
• Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure [54.01613740115601]
  本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。 我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
  論文  参考訳（メタデータ） (2022-03-16T07:09:35Z)
• All You Need In Sign Language Production [50.3955314892191]
  言語認識と生産のサインは、いくつかの重要な課題に対処する必要があります。 本稿では,難聴文化,難聴センター,手話の心理的視点について紹介する。 また、SLPのバックボーンアーキテクチャや手法を簡潔に紹介し、SLPの分類について提案する。
  論文  参考訳（メタデータ） (2022-01-05T13:45:09Z)
• Sign Language Recognition System using TensorFlow Object Detection API [0.0]
  本稿では,Webカメラを用いてインド手話データセットを作成し,次に移動学習を用いて,リアルタイム手話認識システムを構築するためのモデルを訓練する手法を提案する。 システムは、限られたサイズのデータセットであっても、良好な精度を達成する。
  論文  参考訳（メタデータ） (2022-01-05T07:13:03Z)
• Sign Language Production: A Review [51.07720650677784]
  手話 (Sign Language) は、聴覚障害と聴覚障害のコミュニティで使われるコミュニケーション言語である。 聴覚障害者と聴覚コミュニティのコミュニケーションを容易かつ相互に行うためには、話し言葉を手話に翻訳できる堅牢なシステムを構築することが不可欠です。 そのために、手話認識と生産は、このような双方向システムを作るのに必要な2つの部分です。
  論文  参考訳（メタデータ） (2021-03-29T19:38:22Z)
• Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
  手話は聴覚障害者や言語障害者のコミュニケーションに使用される。 また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。 近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
  論文  参考訳（メタデータ） (2021-03-16T03:38:17Z)
• Novel Approach to Use HU Moments with Image Processing Techniques for Real Time Sign Language Communication [0.0]
  手話通信装置(SLC)は,手話利用者と他国との言語障壁を解決するために設計されている。 システムは選択した手話記号を84%の精度で認識できる。
  論文  参考訳（メタデータ） (2020-07-20T03:10:18Z)
• Sign Language Transformers: Joint End-to-end Sign Language Recognition and Translation [59.38247587308604]
  本稿では,連続手話認識と翻訳を共同で学習するトランスフォーマーアーキテクチャを提案する。 RWTH-PHOENIX-Weather-2014Tデータセットの認識と翻訳性能の評価を行った。 我々の翻訳ネットワークは、動画を音声言語に、光沢を音声言語翻訳モデルに、どちらよりも優れています。
  論文  参考訳（メタデータ） (2020-03-30T21:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。