論文の概要: Your voice is your voice: Supporting Self-expression through Speech Generation and LLMs in Augmented and Alternative Communication

• arxiv url: http://arxiv.org/abs/2503.17479v1
• Date: Fri, 21 Mar 2025 18:50:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:34:33.051504
• Title: Your voice is your voice: Supporting Self-expression through Speech Generation and LLMs in Augmented and Alternative Communication
• Title（参考訳）: 音声はあなたの声である:強化・代替コミュニケーションにおける音声生成とLLMによる自己表現の支援
• Authors: Yiwen Xu, Monideep Chakraborti, Tianyi Zhang, Katelyn Eng, Aanchan Mohan, Mirjana Prpa,
• Abstract要約: Speak Easeは、ユーザの表現性をサポートするための拡張的で代替的なコミュニケーションシステムである。 システムは、テキスト、音声、文脈の手がかりを含むマルチモーダル入力を、大きな言語モデルと統合する。
• 参考スコア（独自算出の注目度）: 9.812902134556971
• License:
• Abstract: In this paper, we present Speak Ease: an augmentative and alternative communication (AAC) system to support users' expressivity by integrating multimodal input, including text, voice, and contextual cues (conversational partner and emotional tone), with large language models (LLMs). Speak Ease combines automatic speech recognition (ASR), context-aware LLM-based outputs, and personalized text-to-speech technologies to enable more personalized, natural-sounding, and expressive communication. Through an exploratory feasibility study and focus group evaluation with speech and language pathologists (SLPs), we assessed Speak Ease's potential to enable expressivity in AAC. The findings highlight the priorities and needs of AAC users and the system's ability to enhance user expressivity by supporting more personalized and contextually relevant communication. This work provides insights into the use of multimodal inputs and LLM-driven features to improve AAC systems and support expressivity.
• Abstract（参考訳）: 本稿では、テキスト、音声、文脈的手がかり(会話相手と感情的トーン)を含むマルチモーダル入力を、大きな言語モデル(LLM)と統合することにより、ユーザの表現性を支援するための拡張的・代替的コミュニケーション(AAC)システムであるSpeak Easeを提案する。 Speak Easeは、自動音声認識(ASR)、文脈対応LLMベースの出力、およびパーソナライズされた音声合成技術を組み合わせて、よりパーソナライズされ、自然な、表現力のあるコミュニケーションを可能にする。 言語・言語病理学者(SLPs)による探索的実現可能性調査と焦点群評価を通じて,AACにおけるSpeak Easeの可能性を検討した。 この知見は,AAC利用者の優先事項とニーズと,よりパーソナライズされ,コンテキストに関連のあるコミュニケーションをサポートすることによって,ユーザの表現力を高めるシステムの能力を強調した。 この研究は、AACシステムを改善し、表現性をサポートするためにマルチモーダル入力とLLM駆動機能の使用に関する洞察を提供する。

関連論文リスト

• VoiceBench: Benchmarking LLM-Based Voice Assistants [58.84144494938931]
  大規模言語モデル(LLM)に基づいて音声アシスタントを評価する最初のベンチマークであるVoiceBenchを紹介する。 VoiceBenchには、上記の3つの重要な実世界のバリエーションを含む、実話と合成音声の両方が含まれている。 大規模な実験は、現在のLLMベースの音声アシスタントモデルの限界を明らかにし、この分野における将来の研究・開発に貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-22T17:15:20Z)
• DART: Disentanglement of Accent and Speaker Representation in Multispeaker Text-to-Speech [14.323313455208183]
  マルチレベル変分オートエンコーダ(ML-VAE)とベクトル量子化(VQ)を用いたアンサングル話者とアクセント表現の新しい手法を提案する。 提案手法は、話者とアクセントの特徴を効果的に分離する難しさに対処し、合成音声のよりきめ細かい制御を可能にする。
  論文  参考訳（メタデータ） (2024-10-17T08:51:46Z)
• DeSTA2: Developing Instruction-Following Speech Language Model Without Speech Instruction-Tuning Data [84.01401439030265]
  最近のエンドツーエンド言語モデル(SLM)は、大規模言語モデル(LLM)の機能に拡張されている。 音声とテキストのペアデータを生成するための,シンプルで効果的な自動処理手法を提案する。 本モデルでは,音声教育データを必要としない音声関連タスクの汎用性を示す。
  論文  参考訳（メタデータ） (2024-09-30T07:01:21Z)
• EMOVA: Empowering Language Models to See, Hear and Speak with Vivid Emotions [152.41217651729738]
  EMOVA (EMotionally Omni-present Voice Assistant) を提案する。 セマンティック・アコースティック・ディコンタングルド・音声トークンーザでは、オムニモーダルアライメントが視覚言語や音声能力をさらに向上させることに驚く。 EMOVAは、視覚言語と音声のベンチマークの両方で最先端のパフォーマンスを初めて達成した。
  論文  参考訳（メタデータ） (2024-09-26T16:44:02Z)
• Large Language Model Can Transcribe Speech in Multi-Talker Scenarios with Versatile Instructions [68.98811048970963]
  我々は,多話者環境における音声の書き起こしにおける大規模言語モデル(LLM)の能力について,先駆的な研究を行う。 提案手法では,WavLMとWhisperエンコーダを用いて,話者の特徴や意味的文脈に敏感な多面的音声表現を抽出する。 包括的実験により,カクテルパーティーのシナリオにおいて提案システムであるMT-LLMが期待できる性能を示した。
  論文  参考訳（メタデータ） (2024-09-13T07:28:28Z)
• ASR data augmentation in low-resource settings using cross-lingual multi-speaker TTS and cross-lingual voice conversion [49.617722668505834]
  提案手法は,モデル学習中に1つの話者のみを用いて音声合成と音声変換を行い,ASRシステムの改善を可能にする。 対象言語における1つの実話者のみを用いてデータ拡張法を用いて、有望なASRトレーニング結果を得ることが可能である。
  論文  参考訳（メタデータ） (2022-03-29T11:55:30Z)
• Voice Privacy with Smart Digital Assistants in Educational Settings [1.8369974607582578]
  ソースにおける音声プライバシーのための実用的で効率的なフレームワークを設計・評価する。 このアプローチでは、話者識別(SID)と音声変換法を組み合わせて、音声を記録するデバイス上でユーザのアイデンティティをランダムに偽装する。 我々は、単語誤り率の観点から変換のASR性能を評価し、入力音声の内容を保存する上で、このフレームワークの約束を示す。
  論文  参考訳（メタデータ） (2021-03-24T19:58:45Z)
• Speech Enhancement using Self-Adaptation and Multi-Head Self-Attention [70.82604384963679]
  本稿では,補助的話者認識機能を用いた音声強調のための自己適応手法について検討する。 テスト発話から直接適応に用いる話者表現を抽出する。
  論文  参考訳（メタデータ） (2020-02-14T05:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。