Fugu-MT 論文翻訳(概要): Voxtral Realtime

論文の概要: Voxtral Realtime

arxiv url: http://arxiv.org/abs/2602.11298v1
Date: Wed, 11 Feb 2026 19:17:10 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-13 21:07:25.501939
Title: Voxtral Realtime
Title（参考訳）: ボクストラルリアルタイム
Abstract要約: Voxtral Realtimeはストリーミング自動音声認識モデルである。オフラインの書き込み品質は、秒以下のレイテンシで一致します。私たちはApache 2.0ライセンスの下でモデルウェイトをリリースしています。
参考スコア（独自算出の注目度）: 134.66962524291424
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce Voxtral Realtime, a natively streaming automatic speech recognition model that matches offline transcription quality at sub-second latency. Unlike approaches that adapt offline models through chunking or sliding windows, Voxtral Realtime is trained end-to-end for streaming, with explicit alignment between audio and text streams. Our architecture builds on the Delayed Streams Modeling framework, introducing a new causal audio encoder and Ada RMS-Norm for improved delay conditioning. We scale pretraining to a large-scale dataset spanning 13 languages. At a delay of 480ms, Voxtral Realtime achieves performance on par with Whisper, the most widely deployed offline transcription system. We release the model weights under the Apache 2.0 license.
Abstract（参考訳）: 我々はVoxtral Realtimeを紹介した。Voxtral Realtimeは、オフラインの文字起こし品質をサブ秒レイテンシで一致させるネイティブストリーミング自動音声認識モデルである。チャンクウィンドウやスライディングウィンドウを通じてオフラインモデルを適用するアプローチとは異なり、Voxtral Realtimeはストリーミングのためにエンドツーエンドでトレーニングされ、オーディオとテキストストリームの間に明確なアライメントがある。我々のアーキテクチャは遅延ストリームモデリングフレームワーク上に構築されており、遅延条件を改善するために新しい因果的オーディオエンコーダとAda RMS-Normを導入している。 13の言語にまたがる大規模なデータセットに事前トレーニングをスケールします。 480msの遅延で、Voxtral Realtimeは最も広くデプロイされたオフラインの書き起こしシステムであるWhisperと同等のパフォーマンスを達成する。私たちはApache 2.0ライセンスの下でモデルウェイトをリリースしています。

関連論文リスト

Typhoon ASR Streaming: Steerable Low-Latency Thai Speech Recognition with Real-Time Shallow Fusion [2.6499147105354077]
Open Thai Automatic Speech Recognition (ASR) は、オフラインのWhisperベースのモデルによって支配されている。本稿では,タイ語ASRをストリーミングするデプロイ可能なシステムを提案する。
論文参考訳（メタデータ） (2026-09-14T03:53:52Z)
Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models [68.51256516936338]
Wan-Streamerは、ローストリーミングインタラクションのためのエンドツーエンドのインタラクティブ基盤モデルである。音声とビデオは、入力と出力の両方を単一のTransformerシーケンスでシームレスにモデル化する。およそ200msのモデル側レスポンスレイテンシと、合計550msのインタラクションレイテンシを実現している。
論文参考訳（メタデータ） (2026-06-23T18:01:03Z)
Audio Interaction Model [102.4354125819644]
今日のLALM(Large Audio Language Models)はオフラインであり、ストリーミングオーディオモデルはASRや音声チャットのような単一のタスクのみを処理する。それは、常時オンの知覚・認知応答ループを通じて、音、環境、指示をリアルタイムで聞き、リアルタイムで反応するモデルである。我々は,この仕組みをオーディオインタラクションモデルとして定式化し,オフラインタスクの実行を継続する統合ストリーミングモデルであるAudio-Interactionで実現した。
論文参考訳（メタデータ） (2026-06-03T17:26:11Z)
Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。統一デコーダは時空間のスムーズなバイアスを示します LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
論文参考訳（メタデータ） (2026-04-16T02:30:41Z)
Real-Time Streamable Generative Speech Restoration with Flow Matching [35.33575179870606]
Stream$.$FMは、32ミリ秒(ms)のアルゴリズム待ち時間と48ミリ秒の総待ち時間を持つフレーム因果フローベースの生成モデルである。現在利用可能なGPUでは,高品質なストリーミング生成音声処理が実現可能であることを示す。
論文参考訳（メタデータ） (2025-12-22T14:41:17Z)
VoXtream: Full-Stream Text-to-Speech with Extremely Low Latency [17.067283475630095]
本稿では,VoXtreamについて紹介する。VoXtreamは,最初の単語から始まるリアルタイム使用のための,完全自動回帰・ゼロショットストリーミングテキスト音声合成システムである。 VoXtreamは、モノトニックアライメントスキームと、オンセットを遅らせない動的ルックアヘッドを使用して、入ってくる音素を直接オーディオトークンにマッピングする。インクリメンタルな音素変換器、意味的および持続的トークンを予測する時間変換器、音響トークンを生成する深さ変換器を中心に構築されたVoXtreamは、我々の知る限り、一般に利用可能なストリーミングTSの最低遅延である102msを達成している。
論文参考訳（メタデータ） (2025-09-19T13:26:46Z)
CarelessWhisper: Turning Whisper into a Causal Streaming Model [31.38962687054824]
本稿では,エンコーダ・デコーダ変換器を低遅延ストリーミングモデルに変換することが簡単でない理由を説明する。提案手法は,既存の(非因果的)エンコーダを,エンコーダとデコーダの両方を微調整することによって因果的エンコーダに修正する。低レイテンシチャンクサイズ(300msec未満)の実験では、我々の微調整されたモデルが既存の非微調整のストリーミングアプローチより優れていることが示されている。
論文参考訳（メタデータ） (2025-08-17T09:32:40Z)
Streaming Non-Autoregressive Model for Accent Conversion and Pronunciation Improvement [52.89324095217975]
本研究では,非ネイティブ音声を母語的アクセントに変換する最初のアクセント変換モデルを提案する。提案手法は,従来のACアーキテクチャをEmformerエンコーダと最適化推論機構で変更することでストリーム処理を実現する。
論文参考訳（メタデータ） (2025-06-19T20:05:29Z)
StreamMel: Real-Time Zero-shot Text-to-Speech via Interleaved Continuous Autoregressive Modeling [50.537794606598254]
StreamMelは、継続的メル-スペクトログラムをモデル化する、先駆的なシングルステージストリーミングTSフレームワークである。高い話者類似性と自然性を保ちながら、低レイテンシで自己回帰的な合成を可能にする。オフラインシステムに匹敵するパフォーマンスを実現し、効率的なリアルタイム生成もサポートしている。
論文参考訳（メタデータ） (2025-06-14T16:53:39Z)
Streaming Audio-Visual Speech Recognition with Alignment Regularization [69.30185151873707]
本稿では,ハイブリッド接続型時間分類(CTC)/アテンションニューラルネットワークアーキテクチャに基づくストリーミングAV-ASRシステムを提案する。提案したAV-ASRモデルは、オフラインおよびオンライン設定でLip Reading Sentences 3データセット上で、WERの2.0%と2.6%を達成する。
論文参考訳（メタデータ） (2022-11-03T20:20:47Z)
End to End Lip Synchronization with a Temporal AutoEncoder [95.94432031144716]
ビデオ中の唇の動きをオーディオストリームと同期させる問題について検討する。両領域再帰型ニューラルネットワークを用いて最適アライメントを求める。アプリケーションとして、既存のビデオストリームとテキストから音声までの音声を強力にアライメントする能力を実証する。
論文参考訳（メタデータ） (2022-03-30T12:00:18Z)
SoundStream: An End-to-End Neural Audio Codec [78.94923131038682]
本稿では,音声,音楽,一般音声を効率よく圧縮できる新しいニューラルオーディオシステムSoundStreamを紹介する。 SoundStreamは完全な畳み込みエンコーダ/デコーダネットワークと残留ベクトル量子化器に頼っている。エンコーダまたはデコーダ側で、追加のレイテンシなしで、共同圧縮と拡張を行うことができます。
論文参考訳（メタデータ） (2021-07-07T15:45:42Z)
Transformer Transducer: One Model Unifying Streaming and Non-streaming Speech Recognition [16.082949461807335]
本稿では,Transformer-Transducerモデルアーキテクチャと,ストリーミングおよび非ストリーミング音声認識モデルを1つのモデルに統合するためのトレーニング手法を提案する。私たちは、このモデルを低レイテンシと高レイテンシモードで、上位層を並列に実行するYモデルアーキテクチャで実行できることを示します。これにより、レイテンシが制限されたストリーミング音声認識結果と、精度を大幅に向上した遅延音声認識結果が得られる。
論文参考訳（メタデータ） (2020-10-07T05:58:28Z)
Streaming automatic speech recognition with the transformer model [59.58318952000571]
本稿では,ストリーミングASRのためのトランスフォーマーに基づくエンドツーエンドASRシステムを提案する。本研究では,エンコーダに時間制限付き自己アテンションを適用し,エンコーダ・デコーダのアテンション機構に注意を喚起する。提案したストリーミングトランスアーキテクチャは,LibriSpeechの「クリーン」および「他の」テストデータに対して,2.8%と7.2%のWERを実現する。
論文参考訳（メタデータ） (2020-01-08T18:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。