論文の概要: Re-Sonance: A Dysarthric Asynchronous Real-Time Speech Conversion System Based on a Three-Stage Cascaded ASR-LLM-TTS Architecture

• arxiv url: http://arxiv.org/abs/2607.17615v1
• Date: Mon, 20 Jul 2026 07:05:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.518119
• Title: Re-Sonance: A Dysarthric Asynchronous Real-Time Speech Conversion System Based on a Three-Stage Cascaded ASR-LLM-TTS Architecture
• Title（参考訳）: Re-Sonance: 3段階ASR-LLM-TTSアーキテクチャに基づくDysarthric Asynchronous Real-Time Speech Conversion System
• Abstract要約: Re-Sonance(Re-Sonance)は、リアルタイムなプロの発話シナリオ用に設計された、LLM強化音声駆動型AACシステムである。 Whisper ASR、Qwen LLM、CosyVoice TTSを統合することで、Re-Sonanceはリアルタイム性能を維持しながら、音声の明瞭さと自然性を向上させることができる。
• 参考スコア（独自算出の注目度）: 18.071219862545338
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Individuals with dysarthria face significant challenges in professional speaking scenarios such as conferences, presentations, and meetings, where real-time communication is crucial. While existing Augmentative and Alternative Communication (AAC) systems provide basic support, they often fail to meet the demands of professional speaking environments due to high latency and unnatural speech patterns. This paper presents Re-Sonance, a novel LLM-enhanced speech-driven AAC system designed for real-time professional speaking scenarios. By integrating Whisper ASR, Qwen LLM, and CosyVoice TTS, Re-Sonance achieves improved speech intelligibility and naturalness while maintaining real-time performance. Both subjective and objective evaluations using a Mandarin dysarthric speech dataset demonstrate that our speech reconstruction approach significantly improved intelligibility while preserving semantic coherence for speakers with mild to moderate dysarthria. Although performance remains limited for severe dysarthria cases, our findings validate the potential of LLM-based methods for enhancing speech-driven AAC systems, paving the way for more effective and accessible communication technologies.
• Abstract（参考訳）: 障害のある個人は、リアルタイムコミュニケーションが不可欠である会議、プレゼンテーション、会議のようなプロの会話シナリオにおいて、重大な課題に直面します。 既存のAAC(Augmentative and Alternative Communication)システムは基本的なサポートを提供するが、高いレイテンシと不自然な音声パターンのため、プロの発話環境の要求を満たすことができないことが多い。 本稿では,LLMによる音声駆動型AACシステムであるRe-Sonanceについて述べる。 Whisper ASR、Qwen LLM、CosyVoice TTSを統合することで、Re-Sonanceはリアルタイム性能を維持しながら、音声の明瞭さと自然性を向上させることができる。 マンダリン音声データセットを用いた主観的および客観的評価は, 軽度から中等度の難聴者に対する意味的コヒーレンスを保ちながら, 音声再構成アプローチにより, 明瞭さが向上したことを示している。 難治性難治性難治性難治性難治性症例では高い成績を示したが, LLM を用いた音声駆動型AAC システムの実現の可能性が検証され, より効果的でアクセスしやすい通信技術が確立された。

関連論文リスト

• Rethinking Speech-LLM Integration for ASR: Effective Joint Speech-Text Training by Interleaving [54.66679099886108]
  音声-LLM統合は、広範囲なテキスト事前学習を活用することで有望な結果を示しているが、自動音声認識(ASR)の具体的な利点はいまだ不明である。 本稿では,単語レベルとセグメントレベルのインターリーブ付き音声テキストシーケンスを構成するASR指向の事前学習戦略であるJSTIPを提案する。 ASRデータの38k時間の実験では、ASRのみのトレーニングベースラインと共同音声テキストトレーニングベースラインと比較して、一貫したエンティティ精度が向上した。
  論文  参考訳（メタデータ） (2026-07-02T05:42:01Z)
• How to Leverage Synthetic Speech for LLM-Based ASR Systems? [15.386863365540407]
  銀行や医療といった規制された領域では、実際のスピーチは収集と維持に費用がかかる。 しかし、合成データと実際のデータの間の永続的な分散ギャップは、真の記録をどこまで置き換えるかを制限している。 室内インパルス応答 (RIR) を伴う合成音声は, 実録音の音響的不規則性を再現することにより, ギャップを狭めることを示す。
  論文  参考訳（メタデータ） (2026-06-27T17:57:27Z)
• Covo-Audio Technical Report [61.09708870154148]
  7BバックエンドのLALMであるCovo-Audioは、連続的なオーディオ入力を直接処理し、単一の統一アーキテクチャ内でオーディオ出力を生成する。 対話指向の変種であるCovo-Audio-Chatは、意味的に強い会話能力を示す。
  論文  参考訳（メタデータ） (2026-02-10T14:31:11Z)
• Speaker-Aware Simulation Improves Conversational Speech Recognition [1.0251581485267474]
  ハンガリー語会話型ASRのためのSASCフレームワークを適応し実装する。 C-SASC(C-SASC)は、発話時間に条件付きポーズモデリングを組み込んだ拡張版である。 我々は、BEA-Largeコーパスから合成ハンガリー語対話を生成し、それらを実際の会話データと組み合わせてASR訓練を行う。
  論文  参考訳（メタデータ） (2026-02-04T17:12:09Z)
• Towards Inclusive Communication: A Unified Framework for Generating Spoken Language from Sign, Lip, and Audio [52.859261069569165]
  音声テキスト生成のための手話,唇の動き,音声の多様な組み合わせを扱える最初の統一フレームワークを提案する。 i)不均一な入力を効果的に処理できる統一されたモダリティ非依存アーキテクチャの設計、(ii)モダリティ間の過小評価された相乗効果の探索、特に手話理解における非手動的手がかりとしての唇運動の役割、(iii)個々のタスクに特化した最先端モデルと同等以上のパフォーマンスを達成すること、の3つの目的に焦点をあてる。
  論文  参考訳（メタデータ） (2025-08-28T06:51:42Z)
• Adapting Foundation Speech Recognition Models to Impaired Speech: A Semantic Re-chaining Approach for Personalization of German Speech [0.562479170374811]
  脳性麻痺や遺伝性障害などの症状による音声障害は、自動音声認識システムに重大な課題をもたらす。 本稿では,ASRモデルをパーソナライズする実用的で軽量なパイプラインを提案し,単語の選択を形式化し,セマンティック・コヒーレンスによる音声障害者データセットを充実させる。 提案手法は,非典型的音声パターンを持つ個人に対するコミュニケーション障壁を低減する可能性を示した。
  論文  参考訳（メタデータ） (2025-06-23T15:30:50Z)
• Predictive Speech Recognition and End-of-Utterance Detection Towards Spoken Dialog Systems [55.99999020778169]
  本稿では,次の単語を予測し,発話終了まで残される時間を推定する機能について検討する。 我々は,音響情報と言語情報の両方を組み込んだクロスアテンションに基づくアルゴリズムを開発した。 その結果,提案モデルでは,提案する単語を予測し,将来のEOUイベントを実際のEOUより300ミリ秒前まで推定する能力を示した。
  論文  参考訳（メタデータ） (2024-09-30T06:29:58Z)
• Internalizing ASR with Implicit Chain of Thought for Efficient Speech-to-Speech Conversational LLM [3.6950912517562435]
  本稿では,ASR の思考を音声 LLM に暗黙的に内部化する手法を提案する。 このアプローチはレイテンシを低減し、モデルの音声に対するネイティブ理解を改善し、より効率的で自然なリアルタイムオーディオインタラクションを実現する。
  論文  参考訳（メタデータ） (2024-09-25T20:59:12Z)
• UNIT-DSR: Dysarthric Speech Reconstruction System Using Speech Unit Normalization [60.43992089087448]
  変形性音声再構成システムは、変形性音声を正常な音声に変換することを目的としている。 本稿では,HuBERTのドメイン適応能力を活用して学習効率を向上させるユニットDSRシステムを提案する。 NEDアプローチと比較すると、ユニットDSRシステムは音声単位正規化器とユニットHiFi-GANボコーダのみで構成されている。
  論文  参考訳（メタデータ） (2024-01-26T06:08:47Z)
• Recent Progress in the CUHK Dysarthric Speech Recognition System [66.69024814159447]
  障害音声は、現在のデータ集約型ディープニューラルネットワーク(DNN)に基づく自動音声認識技術に対して、幅広い課題を提示している。 本稿では,香港の中国大学における音声認識システムの性能向上に向けた最近の研究成果について述べる。
  論文  参考訳（メタデータ） (2022-01-15T13:02:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。