論文の概要: ReFrame: Silence-Aware Compute Reclamation for Full-Duplex Speech Models

• arxiv url: http://arxiv.org/abs/2611.01835v1
• Date: Sun, 01 Nov 2026 12:10:55 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:50:37.090355
• Title: ReFrame: Silence-Aware Compute Reclamation for Full-Duplex Speech Models
• Title（参考訳）: ReFrame:フルダブルプレクサ音声モデルのためのサイレンス・アウェア・コンピュート・リフォーメーション
• Abstract要約: フル音声モデルは、ライブインタラクションにおいて、すべてのオーディオフレームにわたって密度の高いモデル構造を生成する。 我々は, モシファミリー, 位相構造, 平坦化された自己回帰生成にまたがる5つのフルモデルモデル上でRegressiveをインスタンス化する。 Haluvalテストでは、同じ補助サービス予算の下で、FBRは86から205までの正解数を増加させる。
• 参考スコア（独自算出の注目度）: 16.196745228060994
• License:
• Abstract: Full-duplex speech models execute dense model inference for every audio frame throughout a live interaction. This uniform framewise schedule creates sustained GPU load across dialogue states whose computation has strong, reusable temporal structure. ReFrame formulates full-duplex inference as a silence-aware computation problem. Mutual Silence Speculation (MSS) operates when both participants are silent: it evaluates multi-frame Temporal continuations, verifies text and hidden-state stability, and applies batched Mimi audio-token correction. Listening Frame Folding (LFF) operates while the user speaks and the agent listens: it processes already-arrived user frames through parallel Temporal execution and frame-batched audio-token generation while accepting only the verified prefix. Frame-Budget Reinvestment (FBR) assigns the released frame intervals to resumable external retrieval and language-model workers, then injects timely references through Moshi's conditioning interface. We instantiate ReFrame on five full-duplex models spanning Moshi-family, phase-structured, and flattened autoregressive generation. Across the complete 1,225-conversation FDBench, ReFrame reduces measured GPU execution time by 18.80-31.01% and retains 96.92-100% non-PAD text agreement on five different models. On HaluEval tests, FBR increases the number of correct generated spoken answers from 86 to 205 under the same auxiliary-service budget. ReFrame turns recurring dialogue structure into lower inference cost and higher end-to-end service capability.
• Abstract（参考訳）: 全二重音声モデルは、ライブインタラクションを通して、すべてのオーディオフレームに対して密度の高いモデル推論を実行する。 この一様スケジュールは、計算が強力で再利用可能な時間構造を持つ対話状態にまたがって持続的なGPU負荷を生成する。 ReFrameはサイレント・アウェアな計算問題として全二重推論を定式化している。 マルチフレームのテンポラル継続を評価し、テキストと隠れ状態の安定性を検証し、バッチされたMimiオーディオトーケン補正を適用する。 ユーザが話している間、LFF(Listening Frame Folding)が動作し、エージェントが耳を傾ける。 Frame-Budget Reinvestment (FBR)は、リリースされたフレーム間隔を、再利用可能な外部検索と言語モデルワーカーに割り当て、Moshiのコンディショニングインターフェースを通じてタイムリーな参照を注入する。 我々は, モシファミリー, 位相構造, 平坦な自己回帰生成にまたがる5つの完全二重モデル上でReFrameをインスタンス化する。 1,225会話のFDBench全体で、ReFrameは測定したGPUの実行時間を18.80-31.01%削減し、5つの異なるモデルで96.92-100%の非PADテキスト契約を保持する。 HaluEvalテストでは、FBRは同じ補助サービス予算の下で、正しい音声回答を86から205に増やす。 ReFrameは、繰り返し発生する対話構造を、推論コストの低減と、エンドツーエンドのサービス機能の向上に転換する。

関連論文リスト

• DiffuPlex: Accelerating Full-Duplex Spoken Dialog Models via Rolling Masked Diffusion [11.032106141329345]
  DiffuPlexは、複数の将来のユーザとアシスタントフレームを単一のウェイクで予測する。 DiffuPlexは、$1.46times$と$1.59times$デプロイメントパスウォールクロックのスピードアップを達成した。 人間の評価では、LISTEN音声の自然さと会話の質は、SPEAKが会話の質をある程度のきめ細やかな音声の自然さで維持していることが示されている。
  論文  参考訳（メタデータ） (2026-10-08T16:01:37Z)
• Ex-Omni-2D: Expressive Omni-Modal Dialogue Models with Native Visual Presence [33.92034255598876]
  視覚応答を生成するオムニモード対話フレームワークである textbfEx-Omni-2D を導入する。 このモデルは、シーン、感情、動きを記述した構造化されたtextitVisual Thought Plan (VTP) を予測し、その後に応答テキストとネイティブなマルチコードブック音声ユニットが続く。
  論文  参考訳（メタデータ） (2026-08-11T09:37:11Z)
• Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
  我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。 本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
  論文  参考訳（メタデータ） (2026-08-10T07:49:10Z)
• Don't Pause: Streaming Video-Language Synchrony for Online Video Understanding [69.296913137409]
  オンラインビデオ理解のための新しいパラダイム: SVLS(Streaming Video-Language Synchrony)を紹介する。 LyraVは、2つのコアイノベーションを備えた階層的なコントロールフレームワーク上に構築されたライブストリーミングアシスタントである。 まず、フレーム駆動トランジションコントローラ(FDTC)は、いつ話を続けるか、新しいレスポンスを開始するか、沈黙を保つか、といった、高レベルのセマンティックな決定を行います。 第二に、プラグアンドプレイの軽量予測モジュールであるStreaming Token Pacer (SToP)は、動的に言語生成率に適応し、視覚的コンテンツのペースにマッチする。
  論文  参考訳（メタデータ） (2026-06-05T07:29:20Z)
• Frames2LoRA: Parametric Video Internalization for Vision-Language Models [52.46510577817688]
  Frames2LoRAはパラメトリックビデオ内部化の手法である。 知覚者ハイパーネットワークは、層ごとに生成された中間表現を読み出し、凍結されたVLMがビデオをエンコードする。 ローランド適応 (LoRA) アダプタを1つのフォワードパスで生成する。
  論文  参考訳（メタデータ） (2026-06-03T02:07:35Z)
• A Non-autoregressive Generation Framework for End-to-End Simultaneous Speech-to-Speech Translation [48.84039953531355]
  同時音声翻訳のための新しい非自己回帰生成フレームワーク(NAST-S2X)を提案する。 NAST-S2Xは、音声テキストと音声音声タスクを統合エンドツーエンドフレームワークに統合する。 3秒未満の遅延で高品質な同時解釈を実現し、オフライン生成において28倍のデコードスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-06-11T04:25:48Z)
• Frame Flexible Network [52.623337134518835]
  既存のビデオ認識アルゴリズムは、常に異なるフレーム番号の入力に対して異なるトレーニングパイプラインを実行する。 トレーニングに使われていない他のフレームを使用してモデルを評価した場合、パフォーマンスが大幅に低下するのを観察する。 本稿では,フレームフレキシブルネットワーク(FFN)と呼ばれる汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-26T20:51:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。