論文の概要: JAL-Turn: Joint Acoustic-Linguistic Modeling for Real-Time and Robust Turn-Taking Detection in Full-Duplex Spoken Dialogue Systems

• arxiv url: http://arxiv.org/abs/2603.26515v1
• Date: Fri, 27 Mar 2026 15:25:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.567764
• Title: JAL-Turn: Joint Acoustic-Linguistic Modeling for Real-Time and Robust Turn-Taking Detection in Full-Duplex Spoken Dialogue Systems
• Title（参考訳）: JAL-Turn:全二重音声対話システムにおける実時間とロバストなターンタイキング検出のための共同音響言語モデル
• Authors: Guangzhao Yang, Yu Pan, Shi Qiu, Ningjie Bai,
• Abstract要約: JAL-Turnは、音声認識と完全に並行して動作する、音声のみのターンテイクフレームワークである。 JAL-Turnは、優れたリアルタイム性能を維持しながら、検出精度において、強い最先端のベースラインを一貫して上回る。
• 参考スコア（独自算出の注目度）: 3.0789720666469407
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Despite recent advances, efficient and robust turn-taking detection remains a significant challenge in industrial-grade Voice AI agent deployments. Many existing systems rely solely on acoustic or semantic cues, leading to suboptimal accuracy and stability, while recent attempts to endow large language models with full-duplex capabilities require costly full-duplex data and incur substantial training and deployment overheads, limiting real-time performance. In this paper, we propose JAL-Turn, a lightweight and efficient speech-only turn-taking framework that adopts a joint acoustic-linguistic modeling paradigm, in which a cross-attention module adaptively integrates pre-trained acoustic representations with linguistic features to support low-latency prediction of hold vs shift states. By sharing a frozen ASR encoder, JAL-Turn enables turn-taking prediction to run fully in parallel with speech recognition, introducing no additional end-to-end latency or computational overhead. In addition, we introduce a scalable data construction pipeline that automatically derives reliable turn-taking labels from large-scale real-world dialogue corpora. Extensive experiments on public multilingual benchmarks and an in-house Japanese customer-service dataset show that JAL-Turn consistently outperforms strong state-of-the-art baselines in detection accuracy while maintaining superior real-time performance.
• Abstract（参考訳）: 最近の進歩にもかかわらず、産業レベルのVoice AIエージェントの展開において、効率的で堅牢なターンテイク検出は依然として大きな課題である。 既存のシステムの多くは音響的あるいは意味的な手がかりにのみ依存しており、最適化の精度と安定性を損なうが、近年のフル二重化機能を備えた大規模言語モデルの実現には、コストのかかるフル二重化データと、相当なトレーニングとデプロイメントのオーバーヘッドが必要で、リアルタイムのパフォーマンスが制限されている。 本稿では,共用音響言語モデリングのパラダイムを取り入れた,軽量かつ効率的な音声のみのターンテイクフレームワークであるJAL-Turnを提案する。 凍結されたASRエンコーダを共有することで、JAL-Turnはターンテイク予測を音声認識と完全に並列に実行し、追加のエンドツーエンドレイテンシや計算オーバーヘッドを導入しない。 さらに,大規模対話コーパスから信頼性の高いターンテイクラベルを自動的に抽出するスケーラブルなデータ構築パイプラインを導入する。 公的な多言語ベンチマークと社内の顧客サービスデータセットの大規模な実験により、JAL-Turnは、優れたリアルタイムパフォーマンスを維持しながら、検出精度において、強い最先端のベースラインを一貫して上回っていることが示されている。

関連論文リスト

• Unlocking Cognitive Capabilities and Analyzing the Perception-Logic Trade-off [29.48293757752123]
  パーセプションとReasoning機能を統合したプログレッシブトレーニングパイプラインを提案する。 長文音声におけるテンポラルドリフトを同定し、拡張推論により音響タイムスタンプからモデルを非同期化する。 本報告では、アーキテクチャ、データ効率のトレーニングレシピ、頑健な認識と構造化推論のトレードオフの診断分析について詳述する。
  論文  参考訳（メタデータ） (2026-02-27T06:56:50Z)
• Make It Hard to Hear, Easy to Learn: Long-Form Bengali ASR and Speaker Diarization via Extreme Augmentation and Perfect Alignment [0.0]
  Lipi-Ghor-882は、882時間のマルチスピーカーBengaliデータセットである。 ASRでは、生データスケーリングが非効率であることを示し、代わりに、合成音響劣化と組み合わせた完全整合アノテーションを用いた微調整を目標とした。 話者ダイアリゼーションでは、この複雑なデータセットでは、グローバルなオープンソースステート・オブ・ザ・アートモデルのパフォーマンスが驚くほど低かった。
  論文  参考訳（メタデータ） (2026-02-26T14:59:24Z)
• Covo-Audio Technical Report [61.09708870154148]
  7BバックエンドのLALMであるCovo-Audioは、連続的なオーディオ入力を直接処理し、単一の統一アーキテクチャ内でオーディオ出力を生成する。 対話指向の変種であるCovo-Audio-Chatは、意味的に強い会話能力を示す。
  論文  参考訳（メタデータ） (2026-02-10T14:31:11Z)
• Fun-ASR Technical Report [89.84148151617022]
  本稿では,大規模データ,大規模モデル容量,LLM統合,強化学習を組み合わせた大規模ALSシステムFun-ASRを提案する。 Fun-ASRは特に実用的なデプロイメントに最適化されており、ストリーミング機能、ノイズの堅牢性、コードスイッチング、ホットワードのカスタマイズ、その他の現実世界のアプリケーション要件を満たすことができる。 運用指向の最適化により、Fun-ASRは実際のアプリケーションデータセット上での最先端のパフォーマンスを実現し、実用的設定におけるその有効性と堅牢性を示す。
  論文  参考訳（メタデータ） (2025-09-15T23:19:36Z)
• Speculative End-Turn Detector for Efficient Speech Chatbot Assistant [11.136112399898481]
  エンドターン検出のための最初の公開データセットであるETDデータセットを紹介する。 また,資源制約環境におけるリアルタイムETDを改善するために,効率と精度のバランスをとる新しい協調推論フレームワークであるSpeculativeETDを提案する。 実験により,提案したSpeculativeETDは,必要な計算量を低く保ちながら,ETDの精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2025-03-30T13:34:23Z)
• MSA-ASR: Efficient Multilingual Speaker Attribution with frozen ASR Models [59.80042864360884]
  話者分布自動音声認識(SA-ASR)は,対応する話者に文字を正確に割り当てながら音声を転写することを目的としている。 本稿では,凍結した多言語ASRモデルを用いて話者属性を転写に組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-27T09:01:08Z)
• ATCSpeechNet: A multilingual end-to-end speech recognition framework for air traffic control systems [15.527854608553824]
  ATCSpeechNetは、航空交通制御システムにおけるコミュニケーション音声を人間可読テキストに変換する問題に取り組むために提案されている。 特徴工学や辞書を使わずに、音声波形を直接テキストに変換するエンドツーエンドのパラダイムが開発されている。 ATCSpeech corpusの実験結果から,非常に小さなラベル付きコーパスを用いて,提案手法が高い性能を実現することが示された。
  論文  参考訳（メタデータ） (2021-02-17T02:27:09Z)
• Efficiently Fusing Pretrained Acoustic and Linguistic Encoders for Low-resource Speech Recognition [9.732767611907068]
  本研究では,前訓練音響エンコーダ(wav2vec2.0)と前訓練言語エンコーダ(bert)をエンドツーエンドasrモデルに融合する。 本モデルは他のエンドツーエンドモデルに比べてcallhomeコーパスの認識性能が(15時間)向上する。
  論文  参考訳（メタデータ） (2021-01-17T16:12:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。