論文の概要: FASTDIAR: Frame-level speaker encoder for Streaming Diarization

• arxiv url: http://arxiv.org/abs/2610.02941v1
• Date: Fri, 02 Oct 2026 07:32:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 09:54:32.243167
• Title: FASTDIAR: Frame-level speaker encoder for Streaming Diarization
• Title（参考訳）: FASTDIAR:ストリームダイアリゼーションのためのフレームレベル話者エンコーダ
• Abstract要約: リアルタイムの会話エージェントは、CPU上でのストリームと実行を行う話者ダイアリゼーションを必要とする。 ほとんどのシステムは、短い重重なり合うチャンクに発話レベル話者エンコーダを適用し、計算を無駄にし、間違ったタスクに最適化されたモデルを残します。 代わりに、最先端の話者認識アーキテクチャを因果フレームレベルのエンコーダに変換し、ストリームを一度読み出し、過去のオーディオのバウンド2秒のウィンドウから80ミリ秒毎に埋め込み、1つの埋め込みを出力し、ストリームの自己相似性に関する更新をゲートするオンラインクラスタリングと組み合わせます。
• 参考スコア（独自算出の注目度）: 4.8986598953553555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-time conversational agents require speaker diarization that streams and runs on a CPU. Most systems apply an utterance-level speaker encoder to short, heavily overlapping chunks, which wastes computation and leaves the model optimized for the wrong task. We instead turn a state-of-the-art speaker recognition architecture into a causal frame-level encoder that reads the stream once and emits one embedding every 80~ms from a bounded two-second window of past audio, and pair it with online clustering that gates every update on the self-similarity of the stream. Trained only by distillation from an utterance-level teacher on simulated and out-of-domain mixtures, and evaluated with one fixed set of hyperparameters, the system is the most accurate streaming diarizer on low-overlap benchmarks at sub-second latency, degrades far less than cache-based systems as the number of speakers grows, and runs five times faster than real time on a single CPU thread.
• Abstract（参考訳）: リアルタイムの会話エージェントは、CPU上でのストリームと実行を行う話者ダイアリゼーションを必要とする。 ほとんどのシステムは、短い重重なり合うチャンクに発話レベル話者エンコーダを適用し、計算を無駄にし、間違ったタスクに最適化されたモデルを残します。 代わりに、最先端の話者認識アーキテクチャを因果フレームレベルのエンコーダに変換し、ストリームを一度読み出し、過去のオーディオのバウンド2秒のウィンドウから80～ms毎の埋め込みを出力し、ストリームの自己相似性に関する更新をゲートするオンラインクラスタリングと組み合わせます。 1つの固定されたハイパーパラメータで評価され、サブ秒のレイテンシで低オーバーラップのベンチマークで最も正確なストリーミングダイアリザであり、スピーカーの数が増えるにつれてキャッシュベースのシステムよりも格段に小さくなり、1つのCPUスレッドでリアルタイムよりも5倍速く動作します。

関連論文リスト

• Memory Efficient Audio Synthesis with Decoupled Temporal Depth Diffusion Transformers [11.102698205402675]
  Siri Expressive Voicesはリッチで会話型の音声をリアルタイムで合成する。 デトケナイザは、ファンデーションモデルによって出力されるセマンティックオーディオトークンを、Apple Matrix Coprocessor(AMX)の厳密な計算およびメモリ予算内で高忠実なオーディオに変換する。 Diffusion Transformer (DiT)スタイルの1つの再利用可能な深度デコーダは、すべてのRVQレベルを自動回帰的に生成し、以前のマルチデコーダアーキテクチャの専用レベルデコーダを置き換える。
  論文  参考訳（メタデータ） (2026-07-26T19:20:01Z)
• GEPARD - Generative, Prosody-aware, Autoregressive text-to-speech model for Realtime Dialogue [0.0]
  GEPARDはリアルタイム音声対話のためのストリーミング音声合成モデルである。 LLMバックボーンで自己回帰的に音声を生成する。 テキストが届くと、FSQベースのニューラルなストリーミングオーディオチャンクで波形に復号する。
  論文  参考訳（メタデータ） (2026-07-04T13:56:27Z)
• Pushing the Limits of On-Device Streaming ASR: A Compact, High-Accuracy English Model for Low-Latency Inference [5.685908474026849]
  エッジデバイス上での高品質な自動音声認識(ASR)は、GPUアクセラレーションなしでCPUで完全に動作している間に、精度、レイテンシ、メモリフットプリントを共同で最適化するモデルを必要とする。 我々は,エンコーダデコーダ,トランスデューサ,LDMベースのパラダイムを包含し,バッチ,チャンク,ストリーミング推論モードで評価する,最先端のASRアーキテクチャの体系的研究を行った。 推奨構成であるint4 k-quant変種は、8つの標準ベンチマークで平均8.20%のストリーミングWERを実現し、0.56秒のアルゴリズムレイテンシでCPU上でのリアルタイムよりも快適に動作します。
  論文  参考訳（メタデータ） (2026-04-16T00:04:32Z)
• Voxtral Realtime [134.66962524291424]
  Voxtral Realtimeはストリーミング自動音声認識モデルである。 オフラインの書き込み品質は、秒以下のレイテンシで一致します。 私たちはApache 2.0ライセンスの下でモデルウェイトをリリースしています。
  論文  参考訳（メタデータ） (2026-02-11T19:17:10Z)
• Representation-Regularized Convolutional Audio Transformer for Audio Understanding [53.092757178419355]
  スクラッチからのブートストラップ表現は計算に高価で、しばしば収束するために広範囲のトレーニングを必要とします。 本稿では,これらの課題に対処するための統合フレームワークであるConvolutional Audio Transformer (CAT)を提案する。
  論文  参考訳（メタデータ） (2026-01-29T12:16:19Z)
• ReBotNet: Fast Real-time Video Enhancement [59.08038313427057]
  ほとんどの復元ネットワークは遅く、高い計算ボトルネックがあり、リアルタイムビデオ拡張には使用できない。 本研究では,ライブビデオ通話やビデオストリームなどの実用的なユースケースをリアルタイムに拡張するための,効率的かつ高速なフレームワークを設計する。 提案手法を評価するために,実世界のビデオ通話とストリーミングのシナリオを示す2つの新しいデータセットをエミュレートし,ReBotNetがより少ない計算,メモリ要求の低減,より高速な推論時間で既存手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-23T17:58:05Z)
• Streaming Audio-Visual Speech Recognition with Alignment Regularization [69.30185151873707]
  本稿では,ハイブリッド接続型時間分類(CTC)/アテンションニューラルネットワークアーキテクチャに基づくストリーミングAV-ASRシステムを提案する。 提案したAV-ASRモデルは、オフラインおよびオンライン設定でLip Reading Sentences 3データセット上で、WERの2.0%と2.6%を達成する。
  論文  参考訳（メタデータ） (2022-11-03T20:20:47Z)
• SoundStream: An End-to-End Neural Audio Codec [78.94923131038682]
  本稿では,音声,音楽,一般音声を効率よく圧縮できる新しいニューラルオーディオシステムSoundStreamを紹介する。 SoundStreamは完全な畳み込みエンコーダ/デコーダネットワークと残留ベクトル量子化器に頼っている。 エンコーダまたはデコーダ側で、追加のレイテンシなしで、共同圧縮と拡張を行うことができます。
  論文  参考訳（メタデータ） (2021-07-07T15:45:42Z)
• Transformer Transducer: One Model Unifying Streaming and Non-streaming Speech Recognition [16.082949461807335]
  本稿では,Transformer-Transducerモデルアーキテクチャと,ストリーミングおよび非ストリーミング音声認識モデルを1つのモデルに統合するためのトレーニング手法を提案する。 私たちは、このモデルを低レイテンシと高レイテンシモードで、上位層を並列に実行するYモデルアーキテクチャで実行できることを示します。 これにより、レイテンシが制限されたストリーミング音声認識結果と、精度を大幅に向上した遅延音声認識結果が得られる。
  論文  参考訳（メタデータ） (2020-10-07T05:58:28Z)
• Streaming automatic speech recognition with the transformer model [59.58318952000571]
  本稿では,ストリーミングASRのためのトランスフォーマーに基づくエンドツーエンドASRシステムを提案する。 本研究では,エンコーダに時間制限付き自己アテンションを適用し,エンコーダ・デコーダのアテンション機構に注意を喚起する。 提案したストリーミングトランスアーキテクチャは,LibriSpeechの「クリーン」および「他の」テストデータに対して,2.8%と7.2%のWERを実現する。
  論文  参考訳（メタデータ） (2020-01-08T18:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。