論文の概要: Local or Escalate? Post-Training Expert Routing for Real-Time Duplex Speech Models

• arxiv url: http://arxiv.org/abs/2611.01639v1
• Date: Sun, 01 Nov 2026 06:42:03 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:04:59.830605
• Title: Local or Escalate? Post-Training Expert Routing for Real-Time Duplex Speech Models
• Title（参考訳）: ローカルかエスカレートか? 実時間二重音声モデルのための訓練後エキスパートルーティング
• Abstract要約: 近年のシステムでは,対話モデル内での特別な音声生成を通じて関連モードを学習している。 音声入力のみを用いて,Mini-o 4.5を凍結する。 テキスト入力状態に適合したプローブも、音声質問の状態を読み取る。
• 参考スコア（独自算出の注目度）: 3.5037968980467995
• License:
• Abstract: A full-duplex model should answer easy questions immediately, but hard questions often need stronger reasoning, which may require waiting. The challenge is to choose between these paths at the moment the model begins to speak. Recent systems learn related mode decisions through special-token generation inside the dialogue model, coupling routing to turn-taking and temporally annotated full-duplex training. We study a post-training alternative. We freeze MiniCPM-o 4.5, using only its speech input and output, and fit a logistic failure readout on hidden states already available at its native listen-to-speak transition. The resulting gate requires no additional model generation and exposes thresholds that can be retuned without changing the duplex policy. A probe fitted on text-input states also reads the states of spoken questions, including unseen human recordings. On the internal benchmark, selective handoff improves answer accuracy by 27.1 points. Compared with always using the expert, it reduces mean server time to first answer audio by 31.5 percent. It also outperforms matched random routing across external speech question-answering pools, as well as a zero-shot GPT-5.4 mini router that rates the transcribed question. The training recipe also transfers to a second duplex model family. These results show that an existing duplex model can be equipped to answer easy turns immediately and wait for stronger reasoning or fresher knowledge on the turns that need it, without further duplex training.
• Abstract（参考訳）: 完全な二重モデルではすぐに簡単な質問に答える必要がありますが、難しい質問にはより強力な推論が必要です。 課題は、モデルが話し始めた時点で、これらのパスを選択することです。 近年のシステムでは,対話モデル内での特別なトーケン生成,ターンテイクへのルーティング,時間的注釈付きフルデュプレックストレーニングを通じて,関連するモード決定を学習している。 我々はポストトレーニングの代替について研究する。 音声入力と出力のみを使用してMiniCPM-o 4.5を凍結し、ネイティブリス・トゥ・スピーカー・トランジションで既に利用可能な隠れ状態にロジスティックなエラー読み出しを適合させる。 結果として生じるゲートは、追加のモデル生成を必要とせず、二重ポリシーを変更することなく修正可能なしきい値を公開する。 テキスト入力状態に装着されたプローブは、見えない人間の記録を含む、会話された質問の状態を読み取ります。 内部ベンチマークでは、選択ハンドオフにより解答精度が27.1ポイント向上する。 エキスパートをいつも使っているのと比べて、オーディオに答えるのに平均的なサーバー時間は31.5パーセント削減される。 また、外部の音声質問応答プールを横断するランダムなルーティングや、書き起こされた質問を評価するゼロショットのGPT-5.4ミニルータよりも優れている。 トレーニングレシピはまた、第2のデュプレックスモデルファミリーに転送される。 これらの結果から,既存のデュプレックスモデルを即時に解答し,必要なターンについてより深い推論や新鮮な知識を待ち,さらなるデュプレックストレーニングを行なわずに実現できることが示唆された。

関連論文リスト

• Full-duplex Spoken Language Modeling with Discrete Diffusion [40.54306859686728]
  シンキングモードでは、Diffuplexはフォワードパス当たり13.0トークンを提供し、平均1872トークン/秒に達し、デコード速度でフロンティア自己回帰(AR)モデルを大幅に上回っている。 推論中、DiffuplexはARインタラクションポリシを通じてユーザ音声を継続的に追跡し、並列拡散を通じて応答コンテンツを独立して生成し、精製する。 これらの結果は,並列計算をインテリジェント応答生成に適用しつつ,リアルタイム対話を維持できる音声エージェントの新しいパラダイムを確立する。 コードとチェックポイントのトレーニングはすぐに有効になるでしょう。
  論文  参考訳（メタデータ） (2026-10-13T06:05:54Z)
• MoshiRAG: Asynchronous Knowledge Retrieval for Full-Duplex Speech Language Models [62.05118198431989]
  非同期のフル音声モデルは、AI停止のフルタイムの対話性と自然な性質によって区別される。 本フレームワークは,外部情報における知識要求型対話クエリと接地応答の同定を可能にする。 本設計では,再学習を伴わないプラグ・アンド・プレイ検索手法をサポートし,アウト・オブ・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー・ツー
  論文  参考訳（メタデータ） (2026-04-14T16:17:52Z)
• F-Actor: Controllable Conversational Behaviour in Full-Duplex Models [70.48189107402145]
  典型的な学術的制約下で効率的に訓練できる,第1にオープンかつ命令追従型全段階会話音声モデルを提案する。 我々のモデルは、大規模な事前訓練や多段階事前訓練に頼ることなく、わずか2000時間のデータしか必要としない。 モデルとトレーニングコードの両方がリリースされ、制御可能なフルステージ音声システムに関する再現可能な研究が可能になる。
  論文  参考訳（メタデータ） (2026-01-16T14:25:57Z)
• Reading Between the Lines: The One-Sided Conversation Problem [49.36189146596834]
  我々は一方的な会話問題(1SC)を定式化する。 リアルタイムのユースケースに対して、欠落した話者のターンを再構築し、一方の書き起こしから要約を生成する。 プライバシーに配慮した会話型AIへの一歩となる有望な成果を報告します。
  論文  参考訳（メタデータ） (2025-11-04T22:53:57Z)
• SALM-Duplex: Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model [28.42203609938444]
  本稿では,連続的なユーザ入力とチャネル融合を伴うエージェント出力を特徴とする,新しい2重音声合成(S2S)アーキテクチャを提案する。 ユーザ入力に事前トレーニングされたストリーミングを使用することで、音声事前トレーニングを必要とせずに、第1の二重S2Sモデルを実現できる。 実験結果から,提案モデルが従来の2次モデルよりも,推論,ターンテイク,バージイン能力に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-05-21T15:48:30Z)
• WavReward: Spoken Dialogue Models With Generalist Reward Evaluators [79.57183115807835]
  WavRewardは、音声入力による音声対話システムのIQとEQを評価することができる報酬フィードバックモデルである。 ChatReward-30Kは、WavRewardのトレーニングに使用される好みのデータセットである。 WavRewardは、複数の音声対話シナリオで過去の最先端評価モデルより優れている。
  論文  参考訳（メタデータ） (2025-05-14T16:54:15Z)
• FastSpeech 2: Fast and High-Quality End-to-End Text to Speech [189.05831125931053]
  FastSpeechのような非自己回帰テキスト・トゥ・スピーチ(TTS)モデルは、同等の品質の以前の自己回帰モデルよりもはるかに高速に音声を合成することができる。 FastSpeechには,(1)教師-学生蒸留パイプラインが複雑で時間を要すること,(2)教師モデルから抽出した期間が十分正確でないこと,(2)教師モデルから抽出したターゲットメル-スペクトログラムが情報損失に悩まされていること,など,いくつかの欠点がある。 我々は,教師の簡易な出力ではなく,接地目標でモデルを直接訓練するFastSpeech 2を提案する。
  論文  参考訳（メタデータ） (2020-06-08T13:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。