論文の概要: FD-VAD: Semantic Endpoint Detection for Streaming Full-Duplex Speech

• arxiv url: http://arxiv.org/abs/2609.35791v1
• Date: Wed, 16 Sep 2026 20:35:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.263643
• Title: FD-VAD: Semantic Endpoint Detection for Streaming Full-Duplex Speech
• Title（参考訳）: FD-VAD:全二重音声ストリームのための意味的終点検出
• Abstract要約: 本稿では、ストリーミングオーディオから直接因果音声ウィンドウを定式化するストリーミングエンドポイントFD-VADを提案する。 FD-VADは、TurnBench dev set 0.853$ (FP=0.10) のゼロショット設定で、最も高いEOTリコールを達成している。 これらの結果から,中間的なASRや対話状態のトラッキングを必要とせずに,ストリーミングオーディオから直接セマンティックエンドポイントを実行することができることがわかった。
• 参考スコア（独自算出の注目度）: 67.07361089429757
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Natural turn-taking in full-duplex voice interaction requires determining from partial speech whether a pause reflects hesitation or a completed conversational intent. Acoustic voice activity detection lacks this semantic information, while cascaded ASR-based endpointing introduces transcription dependence and additional processing stages. We formulate semantic endpoint detection as a causal audio-language reasoning task and introduce FD-VAD, an ASR-free streaming endpointer that maps bounded causal audio windows directly to Continue/Stop decisions. FD-VAD combines a frozen speech encoder with a lightweight modality adapter and a parameter-efficiently adapted language model, using a last-chunk training objective for streaming inference. We further introduce confidence-gated endpoint commitment to control interruption versus delay and boundary-focused hard-negative sampling to improve decisions around ambiguous turn boundaries. Across in-domain and conversational evaluations, FD-VAD outperforms strong streaming and non-streaming semantic turn classifiers, and achieves the highest EOT recall among qualifying systems on TurnBench dev set $0.853$ (at FP<=0.10) in a zero-shot setting. These results show that semantic endpointing can be performed directly from streaming audio without intermediate ASR or dialogue state tracking.
• Abstract（参考訳）: 全二重音声対話における自然なターンテイクは、停止がためらいを反映するか、あるいは会話意図を完了させるか、部分的な音声から決定する必要がある。 音響音声のアクティビティ検出は、この意味情報を欠いているが、ASRベースのエンドポイントは、転写依存と追加の処理段階を導入する。 意味的終端検出を因果的音声言語推論タスクとして定式化し、有界な因果的音声ウィンドウを連続/ストップ決定に直接マッピングするASRフリーストリーミング終端器FD-VADを導入する。 FD-VADは、ストリーミング推論のための最後のチャンク訓練目標を用いて、凍結音声エンコーダと軽量なモダリティアダプタとパラメータ適応型言語モデルを組み合わせる。 さらに、不明瞭なターン境界に関する決定を改善するために、遅延と境界中心のハードネガティブサンプリングの割り込みを制御するために、信頼に満ちたエンドポイントのコミットメントを導入する。 FD-VADは、ドメイン内および会話上の評価において、強いストリーミングと非ストリーミングのセマンティックターン分類器より優れており、TurnBench dev set 0.853$ (at FP<=0.10) の予選システムの中で最高のEOTリコールをゼロショット設定で達成している。 これらの結果から,中間的なASRや対話状態の追跡を伴わずに,ストリーミングオーディオから直接セマンティックエンドポイントを実行することができることがわかった。

関連論文リスト

• Overcoming State Inertia in Full-Duplex Spoken Language Models via Activation Steering [87.43777061308658]
  フル音声言語モデル(FDSLM)における予測行動の解析 FDSLMは、モデル出力生成に整合した生成状態と、ユーザ入力に整合した知覚状態の2つの状態間の内部焦点を動的に変調する。 ユーザ中断中は、モデルが知覚状態に遷移する前に生成状態に対して過渡的に偏りを保ち、入力の開始を逃す。
  論文  参考訳（メタデータ） (2026-06-09T19:08:07Z)
• TRADE: Transducer-Augmented Decoder for Speech LLM [52.69726809996728]
  音声大言語モデル(Speech LLM)は、ストリーミング推論の原理的なメカニズムを欠いている。 音声エンコーダを共有するトランスデューサブランチでマルチモーダルLLMを増強するTRADE TRansducer-Augmented DEcoderを提案する。 3つの設計上の選択により、システムは正確で、ストリーミング可能で、長い形にすることができる。
  論文  参考訳（メタデータ） (2026-06-07T07:15:34Z)
• UAF: A Unified Audio Front-end LLM for Full-Duplex Speech Interaction [7.775050285048427]
  音声アシスタントは人間のような会話システムに向けて人工的な伝播を駆動しています。 音声活動検出(VAD)やターンテイク検出(TD)といったフロントエンドコンポーネントは、音声アシスタントにとって不可欠である。 本報告では, フルグレッシブ音声システムに適した初の統合音声フロントエンド LLM (UAF) を提案する。
  論文  参考訳（メタデータ） (2026-04-21T08:24:55Z)
• SENS-ASR: Semantic Embedding injection in Neural-transducer for Streaming Automatic Speech Recognition [3.0406449751520754]
  本稿では,SENS-ASRを提案する。SENS-ASRは意味情報を用いて音響情報を補強することにより,ストリームASRの転写品質を向上させる手法である。 標準データセットの実験では、SENS-ASRは小さなチャンクストリーミングシナリオでワードエラー率を大幅に改善している。
  論文  参考訳（メタデータ） (2026-02-17T07:18:07Z)
• Chain-of-Thought Reasoning in Streaming Full-Duplex End-to-End Spoken Dialogue Systems [82.70507055599093]
  本稿では,Duplex SDS のための Streaming Chain-of-Thought (CoT) フレームワークを提案する。 ブロック毎に中間的ターゲットアライメントされたユーザ書き起こしとシステム応答を作成します。 実験により,本手法は既存の二重解法よりもコヒーレントで解釈可能な応答を生成することが示された。
  論文  参考訳（メタデータ） (2025-10-02T14:33:05Z)
• VQ-CTAP: Cross-Modal Fine-Grained Sequence Representation Learning for Speech Processing [81.32613443072441]
  テキスト音声(TTS)、音声変換(VC)、自動音声認識(ASR)などのタスクでは、クロスモーダルな粒度(フレームレベル)シーケンス表現が望まれる。 本稿では,テキストと音声を共同空間に組み込むために,クロスモーダルシーケンストランスコーダを用いた量子コントラスト・トーケン・音響事前学習(VQ-CTAP)手法を提案する。
  論文  参考訳（メタデータ） (2024-08-11T12:24:23Z)
• End-to-End Automatic Speech Recognition Integrated With CTC-Based Voice Activity Detection [48.80449801938696]
  本稿では,音声活動検出機能とエンドツーエンドの自動音声認識を統合する。 我々は,コネクショニストの時間的分類(CTC)と,同期/アテンションの拡張に焦点を当てた。 簡単なしきい値を用いた音声区間検出のためのキューとしてラベルを用いる。
  論文  参考訳（メタデータ） (2020-02-03T03:36:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。