論文の概要: Generative Sign-description Prompts with Multi-positive Contrastive Learning for Sign Language Recognition

• arxiv url: http://arxiv.org/abs/2505.02304v1
• Date: Mon, 05 May 2025 00:57:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.537587
• Title: Generative Sign-description Prompts with Multi-positive Contrastive Learning for Sign Language Recognition
• Title（参考訳）: 多陽性コントラスト学習を用いた手話認識のための生成手話記述プロンプト
• Authors: Siyu Liang, Yunan Li, Wentian Xin, Huizhou Chen, Xujie Liu, Kang Liu, Qiguang Miao,
• Abstract要約: 本稿では,GSP-MC法を提案する。 GSP-MC法はまた、二重エンコーダアーキテクチャを用いて、階層的なスケルトン特徴と複数のテキスト記述を双方向にアライメントする。 実験では、中国のSLR500(97.1%)とトルコのAUTSLデータセット(97.07%の精度)の既存の手法に対する最先端のパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 9.044039469025009
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sign language recognition (SLR) faces fundamental challenges in creating accurate annotations due to the inherent complexity of simultaneous manual and non-manual signals. To the best of our knowledge, this is the first work to integrate generative large language models (LLMs) into SLR tasks. We propose a novel Generative Sign-description Prompts Multi-positive Contrastive learning (GSP-MC) method that leverages retrieval-augmented generation (RAG) with domain-specific LLMs, incorporating multi-step prompt engineering and expert-validated sign language corpora to produce precise multipart descriptions. The GSP-MC method also employs a dual-encoder architecture to bidirectionally align hierarchical skeleton features with multiple text descriptions (global, synonym, and part level) through probabilistic matching. Our approach combines global and part-level losses, optimizing KL divergence to ensure robust alignment across all relevant text-skeleton pairs while capturing both sign-level semantics and detailed part dynamics. Experiments demonstrate state-of-the-art performance against existing methods on the Chinese SLR500 (reaching 97.1%) and Turkish AUTSL datasets (97.07% accuracy). The method's cross-lingual effectiveness highlight its potential for developing inclusive communication technologies.
• Abstract（参考訳）: 手話認識(SLR)は、手動と非手動の信号が同時に複雑になるため、正確なアノテーションを作成するための根本的な課題に直面している。 我々の知る限りでは、生成型大規模言語モデル(LLM)をSLRタスクに統合する最初の試みである。 本稿では,多段階のプロンプトエンジニアリングとエキスパートバリデーション付き手話コーパスを組み込んだ,検索拡張型LLM(Regration-augmented Generation, RAG)を利用したGSP-MC法を提案する。 GSP-MC法はまた、双対エンコーダアーキテクチャを用いて、確率的マッチングを通じて複数のテキスト記述(言語、同義語、部分レベル)で階層的な特徴を双方向に整列させる。 我々のアプローチはグローバルと部分レベルの損失を組み合わせ、KLの発散を最適化し、サインレベルのセマンティクスと詳細部分のダイナミクスの両方を捕捉しながら、関連するすべてのテキストスケルトンペア間のロバストなアライメントを確保する。 実験では、中国のSLR500(97.1%)とトルコのAUTSLデータセット(97.07%)の既存の手法に対して、最先端のパフォーマンスを示す。 この手法の言語間効果は、包括的コミュニケーション技術を開発する可能性を強調している。

関連論文リスト

• Representing Signs as Signs: One-Shot ISLR to Facilitate Functional Sign Language Technologies [6.403291706982091]
  独立した手話認識は、スケーラブルな言語技術にとって不可欠である。 言語をまたいで一般化し,語彙を進化させるワンショット学習手法を提案する。 我々は、異なる言語から10,235のユニークな記号を含む大きな辞書上で50.8%のワンショットMRRを含む最先端の結果を得る。
  論文  参考訳（メタデータ） (2025-02-27T15:07:51Z)
• Signs as Tokens: A Retrieval-Enhanced Multilingual Sign Language Generator [55.94334001112357]
  テキスト入力から3Dサインアバターを自動回帰的に生成できる多言語手話モデルSigns as Tokens(SOKE)を導入する。 単語レベルの正確な記号を提供するために,外部記号辞書を組み込んだ検索強化SLG手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T18:28:09Z)
• Boosting Code-Switching ASR with Mixture of Experts Enhanced Speech-Conditioned LLM [1.3089936156875277]
  我々は,Mixture of Experts (MoE) ベースのコネクタと統合された音声条件付き大規模言語モデル (LLM) を提案する。 音声認識タスクへのLLMのテキスト生成能力を向上するためのIDIT機構を提案する。 また、複数の言語を効率的に管理するMoEアーキテクチャとのコネクタも提示する。
  論文  参考訳（メタデータ） (2024-09-24T09:20:22Z)
• SCOPE: Sign Language Contextual Processing with Embedding from LLMs [49.5629738637893]
  世界中の約7000万人の聴覚障害者が使用する手話は、視覚的および文脈的な情報を伝える視覚言語である。 視覚に基づく手話認識(SLR)と翻訳(SLT)の現在の手法は、限られたデータセットの多様性と文脈に関連のある情報の無視により、対話シーンに苦慮している。 SCOPEは、コンテキスト認識型ビジョンベースSLRおよびSLTフレームワークである。
  論文  参考訳（メタデータ） (2024-09-02T08:56:12Z)
• SSPA: Split-and-Synthesize Prompting with Gated Alignments for Multi-Label Image Recognition [71.90536979421093]
  本稿では,視覚言語モデル (VLM) の可能性を増幅するために, Gated Alignments (SSPA) フレームワークを用いた分割合成プロンプトを提案する。 我々は、LLMから固有の知識を関連付けるために、文脈内学習アプローチを開発する。 次に,SSP(Split-and-Synthesize Prompting)戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-30T15:58:25Z)
• Gloss-free Sign Language Translation: Improving from Visual-Language Pretraining [56.26550923909137]
  Gloss-Free Sign Language Translation (SLT) はドメイン横断性のために難しい課題である。 視覚言語事前学習(GFSLT-)に基づく新しいGross-free SLTを提案する。 i) コントラスト言語-画像事前学習とマスク付き自己教師付き学習を統合して,視覚的表現とテキスト的表現のセマンティックギャップをブリッジするプレタスクを作成し,マスク付き文を復元すること,(ii) 事前訓練されたビジュアルおよびテキストデコーダのパラメータを継承するエンコーダ-デコーダ-のような構造を持つエンドツーエンドアーキテクチャを構築すること,である。
  論文  参考訳（メタデータ） (2023-07-27T10:59:18Z)
• Improving Mandarin End-to-End Speech Recognition with Word N-gram Language Model [57.92200214957124]
  外部言語モデル(LM)は、エンドツーエンド(E2E)自動音声認識(ASR)システムの音声認識性能を向上させることができる。 単語レベルの格子をオンザフライで構築し,可能なすべての単語列を考慮可能な,新しい復号アルゴリズムを提案する。 提案手法は,N-gram LMやニューラルネットワーク LM など,サブワードレベルのLMを一貫して上回る。
  論文  参考訳（メタデータ） (2022-01-06T10:04:56Z)
• Global-local Enhancement Network for NMFs-aware Sign Language Recognition [135.30357113518127]
  グローバルローカル・エンハンスメント・ネットワーク(GLE-Net)という,シンプルで効果的なアーキテクチャを提案する。 2つのストリームのうち、1つはグローバルなコンテキスト関係をキャプチャし、もう1つは識別可能なきめ細かなキューをキャプチャする。 日常の単語の総語彙サイズが1,067である中国語手話データセットを,手動で認識する最初の中国語手話データセットを紹介した。
  論文  参考訳（メタデータ） (2020-08-24T13:28:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。