論文の概要: Noise Adaptive Streaming Audio-Visual Speech Token Enhancement for Robust Full-Duplex Spoken Dialogue Models

• arxiv url: http://arxiv.org/abs/2609.08390v1
• Date: Tue, 08 Sep 2026 07:59:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.613295
• Title: Noise Adaptive Streaming Audio-Visual Speech Token Enhancement for Robust Full-Duplex Spoken Dialogue Models
• Title（参考訳）: 頑健な全二重音声対話モデルのための雑音適応型ストリーミング音声-ビジュアル音声強調
• Abstract要約: AVSTEは、音声知覚に到達する前に、ノイズの多い音声とリップビデオから意味のある音声トークンを復元する。 モシと統合すると、AVSTEは平均GPT-4ojudged応答コヒーレンスを1.42.91から改善する。
• 参考スコア（独自算出の注目度）: 49.372283081631366
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Full-duplex spoken dialogue systems enable simultaneous listening and speaking, but their audio-only perception often fails under background noise and overlapping speech, leading to incoherent responses. Recent audio-visual dialogue approaches show that incorporating visual cues such as lip movements improve robustness under audio corruption. However, existing approaches often adapt the large speech dialogue model itself to process visual input, requiring costly multimodal training. We propose AV-STE, a modular streaming audio-visual front-end that restores corrupted semantic speech tokens from noisy audio and lip video before they reach the speech LLM. The downstream dialogue model remains entirely frozen, preserving its pretrained conversational capabilities. When integrated with frozen Moshi, AV-STE improves average GPT-4o-judged response coherence from 1.42 to 1.91 under same-dataset speaker interference while largely preserving turn-taking behavior. Gains also transfer to out-of-domain Seamless Interaction.
• Abstract（参考訳）: 全二重音声対話システムは、同時聴取と発話を可能にするが、その音声のみの知覚は、背景雑音や重複した音声の下で失敗し、不整合応答をもたらす。 最近の音声と視覚の対話手法は、唇の動きなどの視覚的手がかりを取り入れることで、音声の劣化下での堅牢性が向上することを示している。 しかし、既存のアプローチは、大きな音声対話モデル自体を視覚入力に適応させ、コストのかかるマルチモーダルトレーニングを必要とすることが多い。 AV-STEは,音声 LLM に到達する前に,雑音の多い音声やリップビデオから劣化した意味的音声トークンを復元する,モジュール型ストリーミングオーディオ視覚フロントエンドである。 下流の対話モデルは、訓練済みの会話能力を保ち、完全に凍結されたままである。 AV-STEは凍結モシと統合すると、ターンテイクの挙動を保ちながら、同じデータセットの話者干渉下で、平均的なGPT-4o-judged応答コヒーレンスを1.42から1.91に改善する。 ゲインはドメイン外のシームレスインタラクションにも移行する。

関連論文リスト

• Multi-Faceted Interactivity Alignment in Full-Duplex Speech Models [53.470209949659115]
  RLによる全音声対話モデルを改善する訓練後アライメント手法を提案する。 対話性の4つの標準軸(ターンテイキング、バックチャネル一時停止、ユーザ中断)に対処する。 応答品質に対する追加ベースの報酬は、セマンティックな劣化を防ぐ。
  論文  参考訳（メタデータ） (2026-06-09T17:46:55Z)
• UAF: A Unified Audio Front-end LLM for Full-Duplex Speech Interaction [7.775050285048427]
  音声アシスタントは人間のような会話システムに向けて人工的な伝播を駆動しています。 音声活動検出(VAD)やターンテイク検出(TD)といったフロントエンドコンポーネントは、音声アシスタントにとって不可欠である。 本報告では, フルグレッシブ音声システムに適した初の統合音声フロントエンド LLM (UAF) を提案する。
  論文  参考訳（メタデータ） (2026-04-21T08:24:55Z)
• Beyond Monologue: Interactive Talking-Listening Avatar Generation with Conversational Audio Context-Aware Kernels [26.18760496276335]
  対話型仮想エージェントを開発し、会話と聴取の両方に双方向の音声入力を同時に処理する。 我々の手法は文脈意味論と強い時間的アライメントを融合させ、非常に自然で応答性の高い対話型デジタル人間を生成するための新しい最先端技術を構築した。
  論文  参考訳（メタデータ） (2026-04-11T22:34:21Z)
• AV-Dialog: Spoken Dialogue Models with Audio-Visual Input [16.289812372606168]
  AV-Dialogは、音声と視覚の両方を使ってターゲット話者を追跡し、ターンテイクを予測し、一貫性のある応答を生成する最初のフレームワークである。 実験により、AV-Dialogは干渉下での音声のみのモデルよりも優れ、転写エラーの低減、ターンテイク予測の改善、人格の対話品質の向上が示されている。 これらの結果から,実環境,騒音環境,環境,環境,環境,環境,環境,環境,環境,環境,環境,環境,環境,環境,環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境、環境
  論文  参考訳（メタデータ） (2025-11-14T09:56:26Z)
• CoVoMix2: Advancing Zero-Shot Dialogue Generation with Fully Non-Autoregressive Flow Matching [78.01028753403575]
  CoVoMix2はゼロショットマルチトーカー対話生成のためのフレームワークである。 フローマッチングに基づく生成モデルを用いて、マルチストリームの転写からメルスペクトルを予測する。 提案手法は,MoonCastやSesameといった強力なベースラインを,音声品質,話者の整合性,推論速度で上回り,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-06-01T07:51:45Z)
• Moshi: a speech-text foundation model for real-time dialogue [78.88479749811376]
  現在の音声対話システムは、パイプラインの独立した音声活動検出と音声合成に依存している。 そこで本研究では,Moshi Moshiが音声認識と音声合成を実現する方法を紹介する。 得られたモデルは、初めてリアルタイムな全音声大言語モデルモダリティである。
  論文  参考訳（メタデータ） (2024-09-17T17:55:39Z)
• LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders [53.30016986953206]
  雑音の多い音声・視覚音声からのメルスペクトルをトランスフォーマーベースアーキテクチャにより予測する2段階のアプローチであるLA-VocEを提案する。 我々は、何千もの話者と11以上の異なる言語でフレームワークを訓練し、評価し、異なるレベルのバックグラウンドノイズや音声干渉に適応するモデルの能力について研究する。
  論文  参考訳（メタデータ） (2022-11-20T15:27:55Z)
• Audio-Visual Speech Codecs: Rethinking Audio-Visual Speech Enhancement by Re-Synthesis [67.73554826428762]
  本稿では,AR/VRにおける高忠実度通信のための新しい音声・視覚音声強調フレームワークを提案する。 提案手法は音声・視覚音声の手がかりを利用してニューラル音声のコードを生成することで,ノイズ信号からクリーンでリアルな音声を効率的に合成する。
  論文  参考訳（メタデータ） (2022-03-31T17:57:10Z)
• The Right to Talk: An Audio-Visual Transformer Approach [27.71444773878775]
  本研究は,複数話者会話ビデオの音声および視覚チャネルにおける主話者のローカライゼーションと強調を行うために,新たなオーディオ・ビジュアル・トランスフォーマーアプローチを導入する。 我々の知る限りでは、マルチスピーカー会話ビデオにおいて、視覚と音声の両方で主話者を自動的にローカライズし、ハイライトすることができる最初の研究の1つである。
  論文  参考訳（メタデータ） (2021-08-06T18:04:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。