論文の概要: Scaling up Multimodal Pre-training for Sign Language Understanding
- arxiv url: http://arxiv.org/abs/2408.08544v1
- Date: Fri, 16 Aug 2024 06:04:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 16:28:41.245018
- Title: Scaling up Multimodal Pre-training for Sign Language Understanding
- Title（参考訳）: 手話理解のためのマルチモーダル事前学習のスケールアップ
- Authors: Wengang Zhou, Weichao Zhao, Hezhen Hu, Zecheng Li, Houqiang Li,
- Abstract要約: 手話は、難聴者コミュニティにとってコミュニケーションの主要な意味である。
難聴者と聴覚者のコミュニケーションを容易にするために,手話理解(SLU)タスクのシリーズが研究されている。
これらの課題は、多様な視点から手話のトピックを調査し、手話ビデオの効果的な表現を学ぶ上での課題を提起する。
- 参考スコア（独自算出の注目度）: 96.17753464544604
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sign language serves as the primary meaning of communication for the deaf-mute community. Different from spoken language, it commonly conveys information by the collaboration of manual features, i.e., hand gestures and body movements, and non-manual features, i.e., facial expressions and mouth cues. To facilitate communication between the deaf-mute and hearing people, a series of sign language understanding (SLU) tasks have been studied in recent years, including isolated/continuous sign language recognition (ISLR/CSLR), gloss-free sign language translation (GF-SLT) and sign language retrieval (SL-RT). Sign language recognition and translation aims to understand the semantic meaning conveyed by sign languages from gloss-level and sentence-level, respectively. In contrast, SL-RT focuses on retrieving sign videos or corresponding texts from a closed-set under the query-by-example search paradigm. These tasks investigate sign language topics from diverse perspectives and raise challenges in learning effective representation of sign language videos. To advance the development of sign language understanding, exploring a generalized model that is applicable across various SLU tasks is a profound research direction.
- Abstract（参考訳）: 手話は、難聴者コミュニティにとってコミュニケーションの主要な意味である。
音声言語とは違って、手動の特徴、例えば手の動きや身体の動き、非手動の特徴、すなわち表情や口の動きの協調による情報伝達が一般的である。
近年, 難聴者と聴覚者のコミュニケーションを容易にするために, 孤立/連続手話認識 (ISLR/CSLR) や無声手話翻訳 (GF-SLT) や手話検索 (SL-RT) など, 一連の手話理解 (SLU) タスクが研究されている。
手話認識と翻訳は,手話が意味する意味を,それぞれグロスレベルと文レベルから理解することを目的としている。
対照的に、SL-RTはクローズドセットから検索パラダイムに基づく手話ビデオや対応するテキストの検索に重点を置いている。
これらの課題は、多様な視点から手話のトピックを調査し、手話ビデオの効果的な表現を学ぶ上での課題を提起する。
手話理解の発展を進めるために、様々なSLUタスクに適用可能な一般化されたモデルを探索することが、重要な研究方向である。
関連論文リスト
- Continuous Sign Language Recognition System using Deep Learning with MediaPipe Holistic [1.9874264019909988]
手話はコミュニケーションに視覚を使う聴覚障害者の言語である。
アメリカ手話(ASL)、中国手話(CSL)、インド手話(ISL)など、世界中で約300の手話が実践されている。
論文 参考訳（メタデータ） (2024-11-07T08:19:39Z) - SCOPE: Sign Language Contextual Processing with Embedding from LLMs [49.5629738637893]
世界中の約7000万人の聴覚障害者が使用する手話は、視覚的および文脈的な情報を伝える視覚言語である。
視覚に基づく手話認識(SLR)と翻訳(SLT)の現在の手法は、限られたデータセットの多様性と文脈に関連のある情報の無視により、対話シーンに苦慮している。
SCOPEは、コンテキスト認識型ビジョンベースSLRおよびSLTフレームワークである。
論文 参考訳（メタデータ） (2024-09-02T08:56:12Z) - EvSign: Sign Language Recognition and Translation with Streaming Events [59.51655336911345]
イベントカメラは、動的手の動きを自然に知覚し、手話作業のための豊富な手作業の手がかりを提供する。
イベントベースSLRおよびSLTタスクのための効率的なトランスフォーマーベースフレームワークを提案する。
計算コストは0.34%に過ぎず,既存の最先端手法に対して良好に機能する。
論文 参考訳（メタデータ） (2024-07-17T14:16:35Z) - Universal Gloss-level Representation for Gloss-free Sign Language Translation and Production [9.065171626657818]
Universal Gloss-level Representation (UniGloR)は手話翻訳と手話生成のための統一的で自己指導型のソリューションである。
本結果は,UniGloRの翻訳および生産における有効性を示すものである。
本研究は, 自己指導型学習を統一的に実現し, 革新的かつ実践的な応用の道を開くことを示唆する。
論文 参考訳（メタデータ） (2024-07-03T07:12:36Z) - SignBLEU: Automatic Evaluation of Multi-channel Sign Language Translation [3.9711029428461653]
マルチチャネル手話翻訳(MCSLT)という新しいタスクを導入する。
本稿では,複数の信号チャネルを捕捉する新しい測度であるSignBLEUを提案する。
SignBLEUは、競合する指標よりも、人間の判断と常に相関していることがわかった。
論文 参考訳（メタデータ） (2024-06-10T05:01:26Z) - Improving Continuous Sign Language Recognition with Cross-Lingual Signs [29.077175863743484]
本稿では,多言語手話コーパスを用いた連続手話認識の実現可能性について検討する。
まず、2つのデータセットに現れる独立した記号を含む2つの手話辞書を構築します。
次に、適切に最適化された手話認識モデルを用いて、2つの手話間の手話間の手話マッピングを同定する。
論文 参考訳（メタデータ） (2023-08-21T15:58:47Z) - All You Need In Sign Language Production [50.3955314892191]
言語認識と生産のサインは、いくつかの重要な課題に対処する必要があります。
本稿では,難聴文化,難聴センター,手話の心理的視点について紹介する。
また、SLPのバックボーンアーキテクチャや手法を簡潔に紹介し、SLPの分類について提案する。
論文 参考訳（メタデータ） (2022-01-05T13:45:09Z) - Sign Language Production: A Review [51.07720650677784]
手話 (Sign Language) は、聴覚障害と聴覚障害のコミュニティで使われるコミュニケーション言語である。
聴覚障害者と聴覚コミュニティのコミュニケーションを容易かつ相互に行うためには、話し言葉を手話に翻訳できる堅牢なシステムを構築することが不可欠です。
そのために、手話認識と生産は、このような双方向システムを作るのに必要な2つの部分です。
論文 参考訳（メタデータ） (2021-03-29T19:38:22Z) - Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
手話は聴覚障害者や言語障害者のコミュニケーションに使用される。
また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。
近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
論文 参考訳（メタデータ） (2021-03-16T03:38:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。