論文の概要: Look Less, Hear Better: Jointly Rewarded GRPO for Streaming ASR

• arxiv url: http://arxiv.org/abs/2609.18333v1
• Date: Wed, 16 Sep 2026 08:55:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.722966
• Title: Look Less, Hear Better: Jointly Rewarded GRPO for Streaming ASR
• Title（参考訳）: ASRをストリーミングするGRPOを共同開発
• Abstract要約: 自動音声認識のストリーミングは、それが翻訳したものと、それがどの単語をどれだけ速くコミットするかに基づいて、共同で判断されなければならない。 DSMのアライメントに基づく監視は、遅延をテーブルに残すことになる。 本稿では,各単語の音響終端に対して定義された単語レベルのエミッション遅延測定値であるAWEDとGRPOを用いたDSM認識器を,転写精度と測定遅延を共同で評価する報奨として導入する。
• 参考スコア（独自算出の注目度）: 1.3537117504260623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Streaming automatic speech recognition (ASR) must be judged jointly on what it transcribes and on how quickly it commits each word. Delayed streams modeling (DSM) has become the dominant paradigm for streaming large audio-language models, exposing a structural delay $τ$ that bounds the decoder's lookahead. We show that $τ$ is a poor proxy for user-perceived latency, and that the alignment-based supervision of DSM leaves latency on the table: the same forced-aligned transcript is used at every $τ$, forcing the model to withhold words it could already commit. We introduce AWED, a word-level emission-delay metric defined relative to the acoustic end of each word, and post-train a DSM recognizer with GRPO under a reward that scores transcription accuracy and measured delay jointly. Trained at a single operating point ($τ=6$ frames), our model dominates both its supervised fine-tuning initialization and the Voxtral Realtime backbone across all evaluated lookahead budgets: it cuts WER by 30.8\% relative at an 80\,ms structural delay, and by 5.7\% relative at 480\,ms while lowering median AWED from 1.17\,s to 1.04\,s. Latency-rewarded post-training thus advances the accuracy--latency Pareto frontier of streaming ASR without architectural change.
• Abstract（参考訳）: ストリーミング自動音声認識(ASR)は、その書き起こし内容と、各単語をどれだけ早くコミットするかに基づいて、共同で判断されなければならない。 遅延ストリームモデリング(DSM)は、大規模なオーディオ言語モデルのストリーミングにおいて支配的なパラダイムとなり、デコーダのルックアヘッドを束縛する構造的遅延$τ$を露呈している。 私たちは、$τ$がユーザの知覚するレイテンシのプロキシとして貧弱であることを示し、DSMのアライメントベースの監視は、テーブルに遅延を残していることを示しています。 本稿では,各単語の音響終端に対して定義された単語レベルのエミッション遅延測定値であるAWEDとGRPOを用いたDSM認識器を,転写精度と測定遅延を共同で評価する報奨として導入する。 1つの操作ポイント (τ=6$ frames) でトレーニングされ、我々のモデルは、監督された微調整初期化とVoxtral Realtimeのバックボーンの両方を、すべての評価されたルックアヘッド予算で支配し、WERを80\,ms構造遅延で30.8\%、AWEDを1.17\,sから1.04\,s構造遅延で5.7\%削減する。 これにより、アーキテクチャ変更を伴わずにストリーミングASRのレイテンシパレートフロンティアの精度が向上する。

関連論文リスト

• X2Streaming-ASR: wait when uncertain, emit when ready for streaming ASR [7.5375389420656225]
  X2Streaming-ASRは、ストリーミング認識をコミットのタイミングとコミットのタイミングに分解する。 AISHELL-1とAISHELL-3で評価されたシステムの中で、非常に低いレイテンシで最高のストリーミングCERを達成する。
  論文  参考訳（メタデータ） (2026-09-08T12:39:06Z)
• Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
  我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。 本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
  論文  参考訳（メタデータ） (2026-08-10T07:49:10Z)
• TRADE: Transducer-Augmented Decoder for Speech LLM [52.69726809996728]
  音声大言語モデル(Speech LLM)は、ストリーミング推論の原理的なメカニズムを欠いている。 音声エンコーダを共有するトランスデューサブランチでマルチモーダルLLMを増強するTRADE TRansducer-Augmented DEcoderを提案する。 3つの設計上の選択により、システムは正確で、ストリーミング可能で、長い形にすることができる。
  論文  参考訳（メタデータ） (2026-06-07T07:15:34Z)
• Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
  大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。 統一デコーダは 時空間のスムーズなバイアスを示します LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
  論文  参考訳（メタデータ） (2026-04-16T02:30:41Z)
• Pushing the Limits of On-Device Streaming ASR: A Compact, High-Accuracy English Model for Low-Latency Inference [5.685908474026849]
  エッジデバイス上での高品質な自動音声認識(ASR)は、GPUアクセラレーションなしでCPUで完全に動作している間に、精度、レイテンシ、メモリフットプリントを共同で最適化するモデルを必要とする。 我々は,エンコーダデコーダ,トランスデューサ,LDMベースのパラダイムを包含し,バッチ,チャンク,ストリーミング推論モードで評価する,最先端のASRアーキテクチャの体系的研究を行った。 推奨構成であるint4 k-quant変種は、8つの標準ベンチマークで平均8.20%のストリーミングWERを実現し、0.56秒のアルゴリズムレイテンシでCPU上でのリアルタイムよりも快適に動作します。
  論文  参考訳（メタデータ） (2026-04-16T00:04:32Z)
• Small Vision-Language Models are Smart Compressors for Long Video Understanding [73.65465038390771]
  長時間のビデオ理解は、欲求に満ちたコンテキストではなく、意図駆動の効率に頼っている。 本稿では,下流の理解のために長い動画を圧縮する効率的なクエリ認識フレームワークであるTempoを提案する。 テストでは、Tempoが1時間のビデオを理論的限界以下に圧縮し、真のロングフォームビデオ理解が意図駆動の効率に依存することを示した。
  論文  参考訳（メタデータ） (2026-04-09T11:40:25Z)
• WNARS: WFST based Non-autoregressive Streaming End-to-End Speech Recognition [59.975078145303605]
  本稿では,ハイブリッドCTC-attention AEDモデルと重み付き有限状態トランスデューサを用いた新しいフレームワークWNARSを提案する。 AISHELL-1タスクでは、640msの遅延で5.22%の文字エラー率を達成し、オンラインASRの最先端のパフォーマンスである私たちの知識を最大限に活用します。
  論文  参考訳（メタデータ） (2021-04-08T07:56:03Z)
• Unified Streaming and Non-streaming Two-pass End-to-end Model for Speech Recognition [19.971343876930767]
  ストリーミングと非ストリーミングエンドツーエンド(E2E)音声認識を1つのモデルで統一する,新たな2パス方式を提案する。 本モデルでは,エンコーダのコンフォメータ層を改良したハイブリッドCTC/アテンションアーキテクチャを採用している。 オープンな170時間AISHELL-1データセットの実験により、提案手法はストリーミングモデルと非ストリーミングモデルを簡便かつ効率的に統一できることを示した。
  論文  参考訳（メタデータ） (2020-12-10T06:54:54Z)
• FastEmit: Low-latency Streaming ASR with Sequence-level Emission Regularization [78.46088089185156]
  ストリーム自動音声認識(ASR)は、仮説化された単語を可能な限り迅速かつ正確に出力することを目的としている。 既存のアプローチでは、シーケンストランスデューサモデルにおいて、トーケン単位またはフレーム単位の確率予測を演算することで、発光遅延をペナルティ化する。 本稿では,訓練用トランスデューサモデルにおいて,シーケンス毎の確率に遅延正規化を直接適用する,FastEmitというシーケンスレベルのエミッション正規化手法を提案する。
  論文  参考訳（メタデータ） (2020-10-21T17:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。