論文の概要: Gesture-Aware Zero-Shot Speech Recognition for Patients with Language Disorders

• arxiv url: http://arxiv.org/abs/2502.13983v1
• Date: Tue, 18 Feb 2025 14:15:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 17:44:05.378065
• Title: Gesture-Aware Zero-Shot Speech Recognition for Patients with Language Disorders
• Title（参考訳）: 言語障害患者に対するジェスチャー対応ゼロショット音声認識
• Authors: Seungbae Kim, Daeun Lee, Brielle Stark, Jinyoung Han,
• Abstract要約: 音声障害者を対象としたゼロショット学習によるジェスチャー認識自動音声認識(ASR)システムを提案する。 実験結果と分析結果から,ジェスチャー情報を含むと意味理解が著しく向上することが示された。
• 参考スコア（独自算出の注目度）: 10.664605070306417
• License:
• Abstract: Individuals with language disorders often face significant communication challenges due to their limited language processing and comprehension abilities, which also affect their interactions with voice-assisted systems that mostly rely on Automatic Speech Recognition (ASR). Despite advancements in ASR that address disfluencies, there has been little attention on integrating non-verbal communication methods, such as gestures, which individuals with language disorders substantially rely on to supplement their communication. Recognizing the need to interpret the latent meanings of visual information not captured by speech alone, we propose a gesture-aware ASR system utilizing a multimodal large language model with zero-shot learning for individuals with speech impairments. Our experiment results and analyses show that including gesture information significantly enhances semantic understanding. This study can help develop effective communication technologies, specifically designed to meet the unique needs of individuals with language impairments.
• Abstract（参考訳）: 言語障害を持つ個人は、言語処理や理解能力が限られており、音声認識(ASR)に大きく依存する音声支援システムとの相互作用にも影響を及ぼすため、重要なコミュニケーション課題に直面していることが多い。 相反に対処するASRの進歩にもかかわらず、言語障害を持つ個人がコミュニケーションを補完するために実質的に依存するジェスチャーのような非言語コミュニケーション手法を統合することにはほとんど注意が払われていない。 音声単独で捉えない視覚情報の潜在的意味を解釈する必要性を認識し,音声障害のある個人を対象としたゼロショット学習を伴う多モーダル大言語モデルを用いたジェスチャー認識型ASRシステムを提案する。 実験結果と分析結果から,ジェスチャー情報を含むと意味理解が著しく向上することが示された。 本研究は,言語障害のある個人のニーズを満たすための効果的なコミュニケーション技術の開発に有効である。

関連論文リスト

• SIFToM: Robust Spoken Instruction Following through Theory of Mind [51.326266354164716]
  本稿では,認知にインスパイアされた音声指導モデルであるSIFToMを提案し,多様な音声条件下でロボットが人間の指示を実践的に追従できるようにする。 結果から,SIFToMモデルは現状の音声モデルや言語モデルよりも優れており,課題に追従する音声命令に対する人間レベルの精度に近づいていることがわかった。
  論文  参考訳（メタデータ） (2024-09-17T02:36:10Z)
• Scaling up Multimodal Pre-training for Sign Language Understanding [96.17753464544604]
  手話は、難聴者コミュニティにとってコミュニケーションの主要な意味である。 難聴者と聴覚者のコミュニケーションを容易にするために,手話理解(SLU)タスクのシリーズが研究されている。 これらの課題は、多様な視点から手話のトピックを調査し、手話ビデオの効果的な表現を学ぶ上での課題を提起する。
  論文  参考訳（メタデータ） (2024-08-16T06:04:25Z)
• Nonverbal Interaction Detection [83.40522919429337]
  この研究は、社会的文脈における人間の非言語的相互作用を理解するという新たな課題に対処する。 我々はNVIと呼ばれる新しい大規模データセットを寄贈し、人間とそれに対応する社会グループのための境界ボックスを含むように細心の注意を払ってアノテートする。 第2に,非言語的インタラクション検出のための新たなタスクNVI-DETを構築し,画像から三つ子を識別する。 第3に,非言語相互作用検出ハイパーグラフ (NVI-DEHR) を提案する。
  論文  参考訳（メタデータ） (2024-07-11T02:14:06Z)
• The timing bottleneck: Why timing and overlap are mission-critical for conversational user interfaces, speech recognition and dialogue systems [0.11470070927586018]
  対話型および多言語対応のための5つの主要な商用ASRシステムの評価を行った。 6言語での自然な会話データに対する単語誤り率の差は小さく、重複は依然として重要な課題である。 本研究は,対話型音声技術の構築に最も注意を要する現象を同定し,会話型ASRの現状の評価,多次元誤り解析と評価に寄与することを支援する。
  論文  参考訳（メタデータ） (2023-07-28T11:38:05Z)
• A Comparative Analysis of Techniques and Algorithms for Recognising Sign Language [0.9311364633437358]
  手話はしばしば、難聴者によるコミュニケーションの第一形態として使われる。 聴覚障害者にソーシャル・プラットフォームを提供するヒューマン・コンピュータ・インタフェース・システムを構築する必要がある。 ほとんどの商用手話翻訳システムはセンサーベースで高価で使いづらい。
  論文  参考訳（メタデータ） (2023-05-05T10:52:18Z)
• Word level Bangla Sign Language Dataset for Continuous BSL Recognition [0.0]
  我々は,手話を通してコミュニケーションする個人のためのポーズ情報の時間的ダイナミクスを捉える,注目に基づくBi-GRUモデルを開発した。 モデルの精度は85.64%と報告されている。
  論文  参考訳（メタデータ） (2023-02-22T18:55:54Z)
• Bridging the Gap: Using Deep Acoustic Representations to Learn Grounded Language from Percepts and Raw Speech [26.076534338576234]
  自然言語と知覚を結びつける基底言語を理解することは、重要な研究分野である。 本研究は,2つの視覚的知覚と生音声入力に基づいて,基底言語習得の実現可能性を示す。
  論文  参考訳（メタデータ） (2021-12-27T16:12:30Z)
• Hierarchical Summarization for Longform Spoken Dialog [1.995792341399967]
  音声対話の広汎性にもかかわらず、自動音声理解と品質情報抽出は依然として著しく貧弱である。 テキストを理解することに比べ、聴覚コミュニケーションは、話者の拡散、非公式な散文スタイル、構造の欠如など、多くの追加的な課題を生んでいる。 本稿では、2段階のASRとテキスト要約パイプラインを提案し、これらの音声認識課題を解決するためのセマンティックセグメンテーションとマージアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-08-21T23:31:31Z)
• Few-shot Language Coordination by Modeling Theory of Mind [95.54446989205117]
  我々は、数ショット$textit language coordinate$のタスクについて研究する。 リードエージェントは、言語能力の異なるエージェントの$textitpopulation$と調整する必要があります。 これは、人間のコミュニケーションの重要な構成要素であるパートナーの信念をモデル化する能力を必要とする。
  論文  参考訳（メタデータ） (2021-07-12T19:26:11Z)
• Speaker De-identification System using Autoencoders and Adversarial Training [58.720142291102135]
  本稿では,対人訓練とオートエンコーダに基づく話者識別システムを提案する。 実験結果から, 対向学習とオートエンコーダを組み合わせることで, 話者検証システムの誤り率が同等になることがわかった。
  論文  参考訳（メタデータ） (2020-11-09T19:22:05Z)
• You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
  認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。 そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
  論文  参考訳（メタデータ） (2020-04-11T12:51:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。