論文の概要: SCOPE: Sign Language Contextual Processing with Embedding from LLMs

• arxiv url: http://arxiv.org/abs/2409.01073v1
• Date: Mon, 2 Sep 2024 08:56:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 07:38:47.767078
• Title: SCOPE: Sign Language Contextual Processing with Embedding from LLMs
• Title（参考訳）: SCOPE: LLMの埋め込みによる手話文脈処理
• Authors: Yuqi Liu, Wenqian Zhang, Sihan Ren, Chengyu Huang, Jingyi Yu, Lan Xu,
• Abstract要約: 世界中の約7000万人の聴覚障害者が使用する手話は、視覚的および文脈的な情報を伝える視覚言語である。 視覚に基づく手話認識(SLR)と翻訳(SLT)の現在の手法は、限られたデータセットの多様性と文脈に関連のある情報の無視により、対話シーンに苦慮している。 SCOPEは、コンテキスト認識型ビジョンベースSLRおよびSLTフレームワークである。
• 参考スコア（独自算出の注目度）: 49.5629738637893
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Sign languages, used by around 70 million Deaf individuals globally, are visual languages that convey visual and contextual information. Current methods in vision-based sign language recognition (SLR) and translation (SLT) struggle with dialogue scenes due to limited dataset diversity and the neglect of contextually relevant information. To address these challenges, we introduce SCOPE (Sign language Contextual Processing with Embedding from LLMs), a novel context-aware vision-based SLR and SLT framework. For SLR, we utilize dialogue contexts through a multi-modal encoder to enhance gloss-level recognition. For subsequent SLT, we further fine-tune a Large Language Model (LLM) by incorporating prior conversational context. We also contribute a new sign language dataset that contains 72 hours of Chinese sign language videos in contextual dialogues across various scenarios. Experimental results demonstrate that our SCOPE framework achieves state-of-the-art performance on multiple datasets, including Phoenix-2014T, CSL-Daily, and our SCOPE dataset. Moreover, surveys conducted with participants from the Deaf community further validate the robustness and effectiveness of our approach in real-world applications. Both our dataset and code will be open-sourced to facilitate further research.
• Abstract（参考訳）: 世界中の約7000万人の聴覚障害者が使用する手話は、視覚的および文脈的な情報を伝える視覚言語である。 視覚に基づく手話認識(SLR)と翻訳(SLT)の現在の手法は、限られたデータセットの多様性と文脈に関連のある情報の無視により、対話シーンに苦慮している。 これらの課題に対処するために,新しいコンテキスト認識型SLRおよびSLTフレームワークであるSCOPE(Sign Language Contextual Processing with Embedding from LLMs)を紹介する。 SLRでは,多モードエンコーダを用いて対話コンテキストを利用し,光度レベル認識を強化する。 後続のSLTでは、事前の会話コンテキストを取り入れたLarge Language Model(LLM)をさらに微調整する。 また,72時間の中国語手話ビデオを含む新しい手話データセットを,様々なシナリオにおける文脈対話に貢献する。 我々のSCOPEフレームワークは,Phoenix-2014T,CSL-Daily,SCOPEデータセットなど,複数のデータセット上で最先端のパフォーマンスを実現している。 さらに,Deafコミュニティの参加者による調査は,実世界の応用における我々のアプローチの堅牢性と有効性をさらに検証した。 私たちのデータセットとコードはどちらも、さらなる研究を促進するためにオープンソース化されます。

関連論文リスト

• Leveraging the Power of MLLMs for Gloss-Free Sign Language Translation [6.688680877428467]
  そこで我々は,Gloss-free Multimodal Sign Language Translationフレームワークを提案する。 マルチモーダルな大言語モデルを用いて手話コンポーネントの詳細なテキスト記述を生成する。 提案手法は,ベンチマークデータセットPHOENIX14TとCSL-Dailyの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-25T09:01:41Z)
• Enhancing Multilingual Speech Generation and Recognition Abilities in LLMs with Constructed Code-switched Data [30.966072545451183]
  本論文では,MutltiLingual MultiTask (MLMT)モデルを提案する。 我々は,異なる言語からの単語を分割し,CSデータに頼ることなくCS能力を備えた合成を行う,効果的なデータ構築手法を開発した。
  論文  参考訳（メタデータ） (2024-09-17T08:11:07Z)
• Adapting Multilingual LLMs to Low-Resource Languages with Knowledge Graphs via Adapters [3.7273829129985305]
  本稿では,言語から多言語大モデル(LLM)へのグラフ知識の統合について検討する。 我々は、感情分析(SA)および名前付きエンティティ認識(NER)における低リソース言語(LRL)の性能向上のために、言語固有のアダプタを使用している。 構造化グラフ知識が,SA および NER における LRL の多言語 LLM の性能に与える影響を評価する。
  論文  参考訳（メタデータ） (2024-07-01T15:56:24Z)
• A Tale of Two Languages: Large-Vocabulary Continuous Sign Language Recognition from Spoken Language Supervision [74.972172804514]
  我々は,署名された言語と音声のテキスト間の共同埋め込み空間において,署名シーケンスと出力を抽出できるマルチタスクトランスフォーマーモデルCSLR2を導入する。 新しいデータセットアノテーションは、6時間のテストビデオに対して、連続的なサインレベルアノテーションを提供する。 私たちのモデルは、両方のタスクにおいて、過去の技術状況よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-05-16T17:19:06Z)
• SignVTCL: Multi-Modal Continuous Sign Language Recognition Enhanced by Visual-Textual Contrastive Learning [51.800031281177105]
  SignVTCLは、視覚・テキストのコントラスト学習によって強化された連続手話認識フレームワークである。 マルチモーダルデータ(ビデオ、キーポイント、光学フロー)を同時に統合し、統一された視覚バックボーンをトレーニングする。 従来の方法と比較して最先端の結果が得られます。
  論文  参考訳（メタデータ） (2024-01-22T11:04:55Z)
• Gloss-free Sign Language Translation: Improving from Visual-Language Pretraining [56.26550923909137]
  Gloss-Free Sign Language Translation (SLT) はドメイン横断性のために難しい課題である。 視覚言語事前学習(GFSLT-)に基づく新しいGross-free SLTを提案する。 i) コントラスト言語-画像事前学習とマスク付き自己教師付き学習を統合して,視覚的表現とテキスト的表現のセマンティックギャップをブリッジするプレタスクを作成し,マスク付き文を復元すること,(ii) 事前訓練されたビジュアルおよびテキストデコーダのパラメータを継承するエンコーダ-デコーダ-のような構造を持つエンドツーエンドアーキテクチャを構築すること,である。
  論文  参考訳（メタデータ） (2023-07-27T10:59:18Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• LSA-T: The first continuous Argentinian Sign Language dataset for Sign Language Translation [52.87578398308052]
  手話翻訳(SLT)は、人間とコンピュータの相互作用、コンピュータビジョン、自然言語処理、機械学習を含む活発な研究分野である。 本稿では,最初の連続的アルゼンチン手話(LSA)データセットを提案する。 このビデオには、CN Sordos YouTubeチャンネルから抽出されたLCAの14,880の文レベルのビデオと、各署名者のためのラベルとキーポイントアノテーションが含まれている。
  論文  参考訳（メタデータ） (2022-11-14T14:46:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。