論文の概要: PACE: A Playback-Aligned Context Engine for LLM-Based Full-Duplex Voice Dialogue
- arxiv url: http://arxiv.org/abs/2608.07631v1
- Date: Fri, 07 Aug 2026 12:55:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.465314
- Title: PACE: A Playback-Aligned Context Engine for LLM-Based Full-Duplex Voice Dialogue
- Title（参考訳）: PACE: LLMに基づくフルダブル音声対話のためのプレイバック対応コンテキストエンジン
- Abstract要約: これを生成コンテキストミサンチョリング(Generative Context Misanchoring、GCM)と呼ぶ。
ブラックボックス音声モデルを用いてブラウザベースのリアルタイム音声アシスタントを実装した。
そこで我々は,再生関連レファレンス・アンチョリング事例の制御された新しいベンチマークデータセットを構築した。
- 参考スコア（独自算出の注目度）: 34.75261337484262
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM-based full-duplex voice services allow users to speak while the assistant is responding. Because servers can generate output and advance dialogue state faster than clients can play it, subsequent user speech may be interpreted based on content the user never heard. We call this failure Generative Context Mis-anchoring (GCM). To address GCM issues, we present PACE, a provider-independent middleware layer that anchors model-facing context to the client playback boundary, a system-observable proxy for what the user could have heard. After an interruption, PACE repairs this context to exclude assistant content that never reached playback, while preserving low-latency generation across heterogeneous voice runtimes. We implement PACE's audio-only projection path end to end in a browser-based realtime voice assistant using a black-box speech model, without modifying the model service. We also construct GCM-Bench, a new controlled benchmark dataset of 108 playback-relative referent-anchoring cases. On GCM-Bench, PACE raises Referent Anchoring Accuracy from 25.0% to 96.3% over a cancellation-only baseline. On 200 Full-Duplex-Bench v1 interruption samples, it preserves interruption response quality. These results show that grounding model-facing context in actual playback is a practical way to maintain consistency in full-duplex voice dialogue.
- Abstract（参考訳）: LLMベースのフル二重音声サービスは、アシスタントが応答している間にユーザーが話すことができる。
サーバは、クライアントが再生できるよりも早く出力と進行の対話状態を生成できるため、その後のユーザスピーチは、ユーザが聴いたことのないコンテンツに基づいて解釈される。
この失敗を生成的コンテキストミスアンカリング(Generative Context Mis-anchoring, GCM)と呼ぶ。
GCM問題に対処するため,我々は,モデル対応コンテキストをクライアントのリプレース境界に固定するプロバイダ非依存のミドルウェア層であるPACEを紹介した。
中断後、PACEはこのコンテキストを修復し、再生に到達しなかったアシスタントコンテンツを排除し、異種音声ランタイム間で低レイテンシ生成を保存する。
我々は、ブラックボックス音声モデルを用いてブラウザベースのリアルタイム音声アシスタントにおいて、モデルサービスを変更することなく、PACEの音声のみのプロジェクションパスをエンドツーエンドに実装する。
また,GCM-Benchは,再生関連レファレンス・アンカリング108症例を対象とした新しいベンチマークデータセットである。
GCM-Benchでは、PACEはリファレントアンチョリングの精度を25.0%から96.3%に引き上げている。
200のFull-Duplex-Bench v1割り込みサンプルでは、割り込み応答の品質を保っている。
これらの結果から,実再生におけるモデル対面コンテキストのグラウンド化は,全二重音声対話における一貫性を維持するための実践的な方法であることが示唆された。
関連論文リスト
- Scalable Context Orchestration for Serving LLMs Over Voice [5.947646478694118]
我々は、音声コンテキストをオーケストレーションし、その使用をオーケストレーションするコンテキスト管理であるllmovoiceを提示する。
発話レートのアライメントエラーを52.4%削減し、偽の中断率を46.4%から0.9%に下げ、モデル使用コストを79.2%削減する。
長いセッションでは、llmovoiceはターン当たりのコストを最大24.9倍削減し、ベースラインの回答品質の98.7%を維持している。
論文 参考訳（メタデータ） (2026-09-03T09:27:00Z) - Audio Interaction Model [102.4354125819644]
今日のLALM(Large Audio Language Models)はオフラインであり、ストリーミングオーディオモデルはASRや音声チャットのような単一のタスクのみを処理する。
それは、常時オンの知覚・認知応答ループを通じて、音、環境、指示をリアルタイムで聞き、リアルタイムで反応するモデルである。
我々は,この仕組みをオーディオインタラクションモデルとして定式化し,オフラインタスクの実行を継続する統合ストリーミングモデルであるAudio-Interactionで実現した。
論文 参考訳（メタデータ） (2026-06-03T17:26:11Z) - How Should LLMs Listen While Speaking? A Study of User-Stream Routing in Full-Duplex Spoken Dialogue [36.88464167279495]
音声対話システムは、ユーザ入力の到着生成をサポートする必要がある。
チャネル融合はより強力な基底的意味を持ち、一貫してより良い質問性能をもたらす。
クロスアテンションルーティングは質問応答では不十分だが、LLM生成コンテキストをよりよく保存する。
論文 参考訳（メタデータ） (2026-05-11T08:46:47Z) - Liberating LLM Capabilities in Full-Duplex Speech Models [7.252793405548695]
音声に基づく大きなモダリティ言語モデルは、通常、音声応答によって制約される。
本稿では,単一オートレがユーザの音声を聴き,可視自由形テキストを主出力として書き,リアルタイムの口頭反応を共通因果的注意の下で並列に話すという,テキストライトファースト三チャンネルパラダイムを提案する。
これらの結果から,可視文字はリアルタイムな口頭反応を犠牲にすることなく,音声対話のための第1級出力チャネルとして機能することが示唆された。
論文 参考訳（メタデータ） (2026-05-04T17:54:41Z) - Voxtral Realtime [134.66962524291424]
Voxtral Realtimeはストリーミング自動音声認識モデルである。
オフラインの書き込み品質は、秒以下のレイテンシで一致します。
私たちはApache 2.0ライセンスの下でモデルウェイトをリリースしています。
論文 参考訳（メタデータ） (2026-02-11T19:17:10Z) - Stream RAG: Instant and Accurate Spoken Dialogue Systems with Streaming Tool Usage [66.67531241554546]
従来のASR-LLM-TTSパイプラインに代わる強力な対話システムとして、エンドツーエンドの音声対話システムが登場している。
本稿では,音声入力システムに直接ツールの使用を拡張するための最初のアプローチを紹介する。
提案するStreaming Retrieval-Augmented Generation (Streaming RAG) は,ユーザ音声と並行してツールクエリを予測することにより,ユーザ知覚のレイテンシを低減する新しいフレームワークである。
論文 参考訳（メタデータ） (2025-10-02T14:18:20Z) - OmniResponse: Online Multimodal Conversational Response Generation in Dyadic Interactions [62.19092662469285]
Online Multimodal Conversational Response Generation (OMCRG) は、オンラインの音声と非言語からのフィードバックを同時生成する新しいタスクである。
我々は,OmniResponseを提案する。OmniResponseはマルチモーダル大言語モデル(MLLM)であり,正確なマルチモーダルリスナー応答を自動回帰的に生成する。
ResponseNetは、696の詳細なダイアディックインタラクションのデータセットで、同期化された分割画面ビデオ、マルチチャンネルオーディオ、トランスクリプト、注釈付き顔行動が特徴です。
論文 参考訳（メタデータ） (2025-05-27T20:12:46Z) - SALMONN-omni: A Standalone Speech LLM without Codec Injection for Full-duplex Conversation [17.56310064245171]
SALMON-N-omniは、トークン遷移バックボーンなしで動作する最初の単独のフルバイト音声LLMである。
LLMバックボーン内に新しい動的思考機構が備わっており、講演と聴取の間にモデルを学習することができる。
SALMON-N-Omniは、ターンテイキング、バックチャネルエコーキャンセル、コンテキスト依存バージェインなど、複雑な会話シナリオで強いパフォーマンスを示す。
論文 参考訳（メタデータ） (2025-05-17T08:13:59Z) - A Non-autoregressive Generation Framework for End-to-End Simultaneous Speech-to-Speech Translation [48.84039953531355]
同時音声翻訳のための新しい非自己回帰生成フレームワーク(NAST-S2X)を提案する。
NAST-S2Xは、音声テキストと音声音声タスクを統合エンドツーエンドフレームワークに統合する。
3秒未満の遅延で高品質な同時解釈を実現し、オフライン生成において28倍のデコードスピードアップを提供する。
論文 参考訳（メタデータ） (2024-06-11T04:25:48Z) - AudioChatLlama: Towards General-Purpose Speech Abilities for LLMs [27.122094554340194]
我々は、エンドツーエンドの汎用音声処理と推論能力を備えた命令調整型Llama-2モデルを拡張する。
結果、AudioChatLlamaと呼ばれるエンドツーエンドモデルは、音声プロンプトをテキストの代替として利用し、会話を維持することができる。
論文 参考訳（メタデータ） (2023-11-12T06:56:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。