論文の概要: Context Spanning: A Communication Framework for Full-Duplex Speech Models and External LLM Backends

• arxiv url: http://arxiv.org/abs/2609.33443v1
• Date: Sun, 27 Sep 2026 10:48:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 16:50:08.575641
• Title: Context Spanning: A Communication Framework for Full-Duplex Speech Models and External LLM Backends
• Title（参考訳）: Context Spanning: 完全二重音声モデルと外部LLMバックエンドのための通信フレームワーク
• Abstract要約: コンテキストは、外部情報を二重言語モデルに直接注入できることを示し、二重言語システムのための新しいシンプルで強力なメカニズムを導入する。 提案手法は,フルデュープレックスベンチマークにおいて高い性能を達成し,会話の可能性を示す質問応答タスクの強力な結果を得る。
• 参考スコア（独自算出の注目度）: 1.6204674173089677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Full-duplex spoken dialogue models can listen and speak simultaneously like the real-time dynamics of human conversation. For natural dialogue, the ability to search for external information in real-time is also an important capability. Many models remain trapped in parametric knowledge, leaving them unable to access real-time information and tool execution. Furthermore, even when Large Language Models (LLM) retrieve information, many duplex speech models process it within a compressed latent space rather than in its raw text form, which can lead to information loss from compression. To address this issue, we propose Context Spanning, a framework for information injection between a full-duplex speech model and an external LLM backend via real-time chunked prefill. The injected frame is encoded in a single forward pass inside the real-time frame budget. It feeds the retrieved information to the speech model as-is, enabling it to reason over the information independently and generate responses. With this approach, our model achieves high performance on Full-Duplex benchmarks and strong results on Question Answering tasks, demonstrating its conversation potential. Context Spanning shows that external information can be injected directly into a duplex speech model, introducing a new simple and powerful mechanism for duplex systems.
• Abstract（参考訳）: フル二重音声対話モデルは、人間の会話のリアルタイムダイナミクスと同じように、聴き、同時に話すことができる。 自然な対話では、外部情報をリアルタイムで検索する機能も重要な機能である。 多くのモデルはパラメトリックな知識に閉じ込められており、リアルタイム情報やツールの実行にはアクセスできない。 さらに、Large Language Models (LLM) が情報を検索しても、多くの二重言語モデルは、原文ではなく圧縮潜在空間内で処理し、圧縮から情報を失う可能性がある。 この問題に対処するために、実時間チャンクプリフィルによる全二重音声モデルと外部LLMバックエンド間の情報注入のためのフレームワークであるContext Spanningを提案する。 注入フレームは、リアルタイムフレーム予算内の1つのフォワードパスに符号化される。 検索した情報をそのまま音声モデルに供給し、独立して情報を推論し、応答を生成する。 提案手法では,全Duplexベンチマークで高い性能を示し,質問応答タスクの強い結果を得た。 Context Spanningは、外部情報を二重言語モデルに直接注入できることを示し、二重言語システムのための新しいシンプルで強力なメカニズムを導入する。

関連論文リスト

• How Should LLMs Listen While Speaking? A Study of User-Stream Routing in Full-Duplex Spoken Dialogue [36.88464167279495]
  音声対話システムは、ユーザ入力の到着生成をサポートする必要がある。 チャネル融合はより強力な基底的意味を持ち、一貫してより良い質問性能をもたらす。 クロスアテンションルーティングは質問応答では不十分だが、LLM生成コンテキストをよりよく保存する。
  論文  参考訳（メタデータ） (2026-05-11T08:46:47Z)
• Liberating LLM Capabilities in Full-Duplex Speech Models [7.252793405548695]
  音声に基づく大きなモダリティ言語モデルは、通常、音声応答によって制約される。 本稿では,単一オートレがユーザの音声を聴き,可視自由形テキストを主出力として書き,リアルタイムの口頭反応を共通因果的注意の下で並列に話すという,テキストライトファースト三チャンネルパラダイムを提案する。 これらの結果から,可視文字はリアルタイムな口頭反応を犠牲にすることなく,音声対話のための第1級出力チャネルとして機能することが示唆された。
  論文  参考訳（メタデータ） (2026-05-04T17:54:41Z)
• MoshiRAG: Asynchronous Knowledge Retrieval for Full-Duplex Speech Language Models [62.05118198431989]
  非同期のフル音声モデルは、AI停止のフルタイムの対話性と自然な性質によって区別される。 本フレームワークは,外部情報における知識要求型対話クエリと接地応答の同定を可能にする。 本設計では,再学習を伴わないプラグ・アンド・プレイ検索手法をサポートし,アウト・オブ・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー
  論文  参考訳（メタデータ） (2026-04-14T16:17:52Z)
• Full-Duplex-Bench: A Benchmark to Evaluate Full-duplex Spoken Dialogue Models on Turn-taking Capabilities [93.09944267871163]
  FullDuplexBenchは、重要なインタラクティブな振る舞いを体系的に評価するベンチマークである。 ベンチマークコードを公開することによって、音声対話モデリングの進歩と、より自然で魅力的なSDMの開発を目指しています。
  論文  参考訳（メタデータ） (2025-03-06T18:59:16Z)
• Two are better than one: Context window extension with multi-grained self-injection [111.1376461868317]
  SharedLLMは、多粒度コンテキスト圧縮とクエリ対応情報検索の設計哲学に基づく新しいアプローチである。 本研究では,テキストチャンクの多粒度コンテキスト情報を効率的にエンコードし,保存し,検索するための木構造データ構造を提案する。
  論文  参考訳（メタデータ） (2024-10-25T06:08:59Z)
• Beyond Turn-Based Interfaces: Synchronous LLMs as Full-Duplex Dialogue Agents [12.555910887280199]
  フル同期音声対話モデルのための同期LLMを提案する。 実世界の音声対話データをわずか2k時間で有意義で自然な対話を生成するモデルを訓練する。 異なるデータセット上で訓練された2つのエージェント間の相互作用をシミュレートすることにより、モデルがフル同期対話に参加する能力を示す。
  論文  参考訳（メタデータ） (2024-09-23T23:01:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。