論文の概要: Diagnosing and Mitigating Long-Session Degradation in Full-Duplex Speech Models

• arxiv url: http://arxiv.org/abs/2610.34991v2
• Date: Tue, 27 Oct 2026 08:32:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.169182
• Title: Diagnosing and Mitigating Long-Session Degradation in Full-Duplex Speech Models
• Title（参考訳）: 全二重音声モデルにおける長区間劣化の診断と緩和
• Abstract要約: 軽度LoRAのための自己蒸留型トレーニングフレームワークを提案する。 その結果,LORA適応は10分間のセッションにおけるパフォーマンス劣化を軽減し,RTCの追加はトレーニングセッション長を超えて向上し,KV-cacheの成長を90%以上減少させることがわかった。
• 参考スコア（独自算出の注目度）: 55.88547396132128
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: End-to-end full-duplex spoken dialogue models enable natural, real-time spoken interactions with interruptions, backchannels, and overlapping speech. Prior evaluations have assessed diverse interaction capabilities and identified some degradation patterns across conversational turns. However, how model behavior evolves over extended sessions remains insufficiently understood. In this work, we address this gap by systematically characterizing long-session degradation and developing efficient methods to mitigate it. We introduce a closed-loop evaluation framework for long-session stability and apply it to several publicly available full-duplex speech models, revealing degradation over time in responsiveness, spoken content quality, and voice consistency. To mitigate this degradation, we propose a self-distillation-based training framework for lightweight LoRA adaptation that improves long-session stability with a small amount of additional training. We further introduce a two-resolution context (TRC) architecture that preserves recent interactions in full detail while compressing older interaction history into key-value representations. We evaluate our methods on three models with distinct architectures, assessing long-session stability, information retention, and computational efficiency. Across all three models, we show that LoRA adaptation mitigates performance degradation over ten-minute sessions, while adding TRC extends these gains beyond the training session length and reduces KV-cache growth by more than 90%.
• Abstract（参考訳）: エンドツーエンドのフル二重音声対話モデルは、割り込み、バックチャネル、重なり合う音声との自然なリアルタイム音声対話を可能にする。 以前の評価では、多様な相互作用能力を評価し、会話のターンにまたがる劣化パターンを特定していた。 しかし、モデル行動が拡張セッションを通してどのように進化するかは、まだ十分に理解されていない。 本研究では, 長期化を体系的に特徴付けることにより, このギャップに対処し, 効率よく軽減する方法を開発する。 本研究では,長期安定のためのクローズドループ評価フレームワークを導入し,複数の公用全二重音声モデルに適用し,応答性,音声コンテンツ品質,音声の整合性などの時間的劣化を明らかにした。 この劣化を軽減するために,軽度LoRA適応のための自己蒸留ベースのトレーニングフレームワークを提案する。 さらに、古いインタラクション履歴をキー値表現に圧縮しながら、最近のインタラクションを詳細に保存する2次元コンテキスト(TRC)アーキテクチャを導入する。 我々は,異なるアーキテクチャを持つ3つのモデルを用いて,長期的安定性,情報保持,計算効率を評価する。 3つのモデル全体で、LoRA適応は10分間のセッションでパフォーマンスの低下を軽減し、RTCの追加はトレーニングセッション長を超えてこれらの増加を拡大し、KV-cacheの成長を90%以上削減する。

関連論文リスト

• Multi-Faceted Interactivity Alignment in Full-Duplex Speech Models [53.470209949659115]
  RLによる全音声対話モデルを改善する訓練後アライメント手法を提案する。 対話性の4つの標準軸(ターンテイキング、バックチャネル一時停止、ユーザ中断)に対処する。 応答品質に対する追加ベースの報酬は、セマンティックな劣化を防ぐ。
  論文  参考訳（メタデータ） (2026-06-09T17:46:55Z)
• Beyond Static Dialogues: Benchmarking Realistic, Heterogeneous, and Evolving Long-Term Memory [54.947805187562274]
  動的時間的進化と長期コヒーレンスを示す多様な相互作用シナリオにまたがる現実的な対話を導入する。 その結果得られたベンチマークは、7つの調査タイプにまたがる挑戦的な質問と回答のペアを含んでいる。 現在研究されている27の重要な記憶特性のうち、少なくとも1つを同定する。
  論文  参考訳（メタデータ） (2026-05-29T09:51:22Z)
• MoshiRAG: Asynchronous Knowledge Retrieval for Full-Duplex Speech Language Models [62.05118198431989]
  非同期のフル音声モデルは、AI停止のフルタイムの対話性と自然な性質によって区別される。 本フレームワークは,外部情報における知識要求型対話クエリと接地応答の同定を可能にする。 本設計では,再学習を伴わないプラグ・アンド・プレイ検索手法をサポートし,アウト・オブ・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー
  論文  参考訳（メタデータ） (2026-04-14T16:17:52Z)
• Long-Term Multi-Session 3D Reconstruction Under Substantial Appearance Change [52.46888249268445]
  長期の環境モニタリングには、数ヶ月または数年ごとに分割された繰り返しサイト訪問で3Dモデルを再構築し調整する機能が必要である。 既存のアプローチは、独立して再構築されたセッションのポストホックアライメントに依存している。 我々は,共同SfM再建において,クロスセッション対応を直接実施することを提案する。
  論文  参考訳（メタデータ） (2026-02-24T06:12:51Z)
• Occupancy Learning with Spatiotemporal Memory [39.41175479685905]
  本稿では,時間的整合性のある3次元占有特徴を効果的に学習するシーンレベルの占有表現学習フレームワークを提案する。 提案手法は,多フレーム入力間の時間的依存性を利用して,3次元占有予測タスクの時間的表現を著しく向上させる。
  論文  参考訳（メタデータ） (2025-08-06T17:59:52Z)
• See Further When Clear: Curriculum Consistency Model [20.604239652914355]
  本稿では,時間ステップ間で学習の複雑さを安定させ,バランスをとるCCMを提案する。 具体的には,各時期の蒸留工程をカリキュラムとみなし,学習の複雑さを定量化するためのピーク信号対雑音比(PSNR)に基づくメトリクスを導入する。 CIFAR-10ではFr't Inception Distance(FID)スコアが1.64、ImageNet 64x64では2.18である。
  論文  参考訳（メタデータ） (2024-12-09T08:39:01Z)
• PRoDeliberation: Parallel Robust Deliberation for End-to-End Spoken Language Understanding [44.77985942208969]
  PRoDeliberationは、コネクショニストの時間分類に基づくデコード戦略を活用する新しい手法であり、堅牢な非自己回帰的デリベレーションモデルをトレーニングするための認知的目標である。 PRoDeliberationは,自動音声認識(ASR)の誤り書き起こしを補正する能力を維持しつつ,並列デコーディングの遅延低減(自己回帰モデルよりも2～10倍改善)を実現していることを示す。
  論文  参考訳（メタデータ） (2024-06-12T02:46:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。