論文の概要: RUBATO: Decoupled Clocks Allow Full-Duplex Models to Think as Fast as They Can

• arxiv url: http://arxiv.org/abs/2610.14299v1
• Date: Fri, 09 Oct 2026 20:21:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.030699
• Title: RUBATO: Decoupled Clocks Allow Full-Duplex Models to Think as Fast as They Can
• Title（参考訳）: RUBATO:デカップリングされたクロックでフルダブルプレックスモデルを可能な限り高速に考えることができる
• Abstract要約: 近年のFullDuplex (FDX) モデルでは、会話を同時に聴くことで自然主義的な会話を行うことができる。 これらのストリーム処理をリアルタイムで確実にするために、既存の手法は固定復号率を強制する。 この静的アプローチは極めて最適である、と我々は主張する。 内部思考は本質的に非同期であるため、理想的なFDXモデルは、各ストリームを独自のハードウェアレートでデコードしながら、リアルタイムの会話フローを維持する必要がある。
• 参考スコア（独自算出の注目度）: 47.408859623024874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent Speech Full-Duplex (FDX) models are capable of engaging in naturalistic conversation by listening and speaking at the same time. Building on this foundation, recent architectures introduce internal thinking streams to enhance their intelligence. To guarantee these streams process successfully in real time, existing methods enforce a fixed decoding rate, which assumes a hardware profile capable of a specific latency. We argue this static approach is severely suboptimal. Because internal thinking is intrinsically asynchronous, an ideal FDX model should sustain real-time conversational flow while allowing each stream to decode at its own hardware-adaptive rate. Thinking streams must process as fast as the hardware allows to deliver accurate answers faster. To solve this, we propose RUBATO, a novel multistream positional encoding that assigns independent clocks to entirely decouple the streams. This structural isolation empowers the model to zero-shot interpolate across any inference decoding speed. It drastically simplifies dataset construction by requiring training on only two extreme decoding speeds while smoothly adapting to any intermediate rate during deployment. RUBATO demonstrates consistent robustness across five spoken reasoning tasks. On Spoken GSM8K, a baseline model collapses to 1.7% accuracy at interpolated speeds. Conversely, RUBATO-Full sustains 48.7% to 51.1% accuracy across all rates, leveraging faster hardware to achieve a 6.5x shorter time-to-answer with a constant time-to-first-response. This advantage holds on BIG-Bench Audio and amplifies significantly during complex full-duplex interruptions. Specifically, when a user interjects while the model is actively speaking and reasoning, RUBATO-Full achieves 40.0% to 45.1% accuracy, whereas the baseline fails completely.
• Abstract（参考訳）: 最近の音声フルデュプレックス(FDX)モデルは、聴取と発話を同時に行うことによって、自然主義的な会話を行える。 この基盤の上に構築された最近のアーキテクチャでは、インテリジェンスを強化するために内部思考ストリームが導入されている。 これらのストリーム処理をリアルタイムで確実にするために、既存の手法では、ハードウェアプロファイルが特定の遅延を許容する固定復号率を強制する。 この静的アプローチは極めて最適である、と我々は主張する。 内部思考は本質的に非同期であるため、理想的なFDXモデルは、各ストリームを独自のハードウェア適応速度でデコードしながら、リアルタイムの会話フローを維持する必要がある。 思考ストリームはハードウェアと同じ速さで処理しなければなりません。 そこで本研究では,独立したクロックをアサインしてストリームを完全に分離する,新しいマルチストリーム位置符号化手法RUBATOを提案する。 この構造的分離により、モデルは任意の推論復号速度でゼロショット補間を行うことができる。 デプロイ中の任意の中間レートに順応しながら、2つの極端なデコード速度のみをトレーニングすることで、データセットの構築を大幅に単純化する。 RUBATOは5つの音声推論タスクで一貫した堅牢性を示す。 Spoken GSM8Kでは、ベースラインモデルは補間速度で1.7%の精度で崩壊する。 逆にRUBATO-Fullは48.7%から51.1%の精度を保ち、高速なハードウェアを活用して6.5倍の短い応答時間を実現している。 この利点は、BIG-Bench Audioを抑え、複雑な全二重割り込み時に大幅に増幅する。 具体的には、モデルが積極的に話し、推論している間にユーザーが介在すると、RUBATO-Fullは40.0%から45.1%の精度を達成し、ベースラインは完全に失敗する。

関連論文リスト

• Look Less, Hear Better: Jointly Rewarded GRPO for Streaming ASR [1.3537117504260623]
  自動音声認識のストリーミングは、それが翻訳したものと、それがどの単語をどれだけ速くコミットするかに基づいて、共同で判断されなければならない。 DSMのアライメントに基づく監視は、遅延をテーブルに残すことになる。 本稿では,各単語の音響終端に対して定義された単語レベルのエミッション遅延測定値であるAWEDとGRPOを用いたDSM認識器を,転写精度と測定遅延を共同で評価する報奨として導入する。
  論文  参考訳（メタデータ） (2026-09-16T08:55:40Z)
• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• StreamPI: Streaming Multimodal Temporal Modeling for Vision-Language-Action Models [84.17128030384099]
  StreamPIはストリーミングマルチモーダル時間モデリングフレームワークである。 追加パラメータを導入することなく、単一フレームのVLAに時間的推論能力を持たせる。 メモリ依存および正確な認識シナリオにまたがる実ロボットタスクの実験とシミュレーションベンチマークのLIBEROは、StreamPIが様々なタスクでpi0.5より優れていることを示した。
  論文  参考訳（メタデータ） (2026-08-26T17:33:19Z)
• Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
  大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。 統一デコーダは 時空間のスムーズなバイアスを示します LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
  論文  参考訳（メタデータ） (2026-04-16T02:30:41Z)
• Pushing the Limits of On-Device Streaming ASR: A Compact, High-Accuracy English Model for Low-Latency Inference [5.685908474026849]
  エッジデバイス上での高品質な自動音声認識(ASR)は、GPUアクセラレーションなしでCPUで完全に動作している間に、精度、レイテンシ、メモリフットプリントを共同で最適化するモデルを必要とする。 我々は,エンコーダデコーダ,トランスデューサ,LDMベースのパラダイムを包含し,バッチ,チャンク,ストリーミング推論モードで評価する,最先端のASRアーキテクチャの体系的研究を行った。 推奨構成であるint4 k-quant変種は、8つの標準ベンチマークで平均8.20%のストリーミングWERを実現し、0.56秒のアルゴリズムレイテンシでCPU上でのリアルタイムよりも快適に動作します。
  論文  参考訳（メタデータ） (2026-04-16T00:04:32Z)
• Small Vision-Language Models are Smart Compressors for Long Video Understanding [73.65465038390771]
  長時間のビデオ理解は、欲求に満ちたコンテキストではなく、意図駆動の効率に頼っている。 本稿では,下流の理解のために長い動画を圧縮する効率的なクエリ認識フレームワークであるTempoを提案する。 テストでは、Tempoが1時間のビデオを理論的限界以下に圧縮し、真のロングフォームビデオ理解が意図駆動の効率に依存することを示した。
  論文  参考訳（メタデータ） (2026-04-09T11:40:25Z)
• Whisfusion: Parallel ASR Decoding via a Diffusion Transformer [7.327454599174306]
  Whisfusionは、トレーニング済みのWhisperエンコーダをテキスト拡散デコーダで融合するフレームワークである。 パラメータ効率細調整(PEFT)によって訓練された軽量なクロスアテンションアダプタは、2つのモードをブリッジする。 LibriSpeech (960h)のみに微調整されたWhisfusionは、Whisper-tinyよりも低いWERを実現し、短いオーディオに匹敵するレイテンシを提供する。
  論文  参考訳（メタデータ） (2025-08-09T17:20:54Z)
• Next Tokens Denoising for Speech Synthesis [51.320443764269726]
  Dragon-FMは、ARとフローマッチングを統合する新しいテキスト音声(TTS)設計である。 毎秒12.5トークンのコンパクトレートで48kHzのオーディオトークンをチャンクで処理する。 ポッドキャストデータセットの実験では、高品質なゼロショットポッドキャストを効率的に生成できることが示されている。
  論文  参考訳（メタデータ） (2025-07-30T15:03:36Z)
• Unified Streaming and Non-streaming Two-pass End-to-end Model for Speech Recognition [19.971343876930767]
  ストリーミングと非ストリーミングエンドツーエンド(E2E)音声認識を1つのモデルで統一する,新たな2パス方式を提案する。 本モデルでは,エンコーダのコンフォメータ層を改良したハイブリッドCTC/アテンションアーキテクチャを採用している。 オープンな170時間AISHELL-1データセットの実験により、提案手法はストリーミングモデルと非ストリーミングモデルを簡便かつ効率的に統一できることを示した。
  論文  参考訳（メタデータ） (2020-12-10T06:54:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。