論文の概要: Depth through Recurrence: Towards Ultra-Efficient On-Device ASR

• arxiv url: http://arxiv.org/abs/2610.37833v1
• Date: Tue, 27 Oct 2026 18:45:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.315072
• Title: Depth through Recurrence: Towards Ultra-Efficient On-Device ASR
• Title（参考訳）: 再帰による深度:超高効率オンデバイスASRを目指して
• Abstract要約: 現代の自動音声認識(ASR)システムは,モデル深度とキャパシティのスケーリングによって,顕著な精度を実現している。 ASRが時計や眼鏡など、しばしば必要となるエッジデバイスでは、そのような大きなモデルをデプロイすることは、非常に制約されたリソースのために実現不可能である。 本稿では,パラメータ化深度を小さな繰り返しブロックで置き換えるブロック再帰型ASRアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 18.119367243268375
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Modern automatic speech recognition (ASR) systems have achieved remarkable accuracy by scaling model depth and capacity, but at the cost of increased memory, energy, and computational demands. On edge devices where ASR is often most needed, such as watches and glasses, deploying such large models is infeasible due to extremely constrained resources. This raises a fundamental question: can we achieve high representational power in deep ASR models without scaling up parameterization? In this work, we revisit the role of depth and identify layer wise representational dynamics, in which most layers learn functionally similar transformations. Motivated by this insight, we propose a block-recurrent ASR architecture that replaces parameterized depth with a small set of recurrent blocks, each consisting of weight-shared layers, thereby preserving effective depth while drastically reducing model size. Through representation-guided grouping and knowledge distillation, block-recurrent models retain the accuracy of large reference models while using an order of magnitude fewer parameters. Across Open ASR Leaderboard benchmarks, a model with only two shared blocks recovers 97.4% of the accuracy of large models on average. The compact backbone further enables efficient on-device personalization through lightweight MoE-LoRA adaptation, allowing user-specific models to match or surpass the accuracy of general-purpose ASR systems with significantly lower inference cost. By reusing weights across recurrent steps, the proposed architecture reduces memory-access overhead and inference energy consumption. Together, these results show that high quality ASR can be achieved without large parameterization, and that structured recurrence provides a principled path towards ultra-compressed, energy-efficient, and personalized speech recognition on the edge.
• Abstract（参考訳）: 現代の自動音声認識システム(ASR)は、モデル深度とキャパシティのスケーリングによって顕著な精度を達成しているが、メモリ、エネルギ、計算要求の増大によるコストは高い。 ASRが時計や眼鏡など、しばしば必要となるエッジデバイスでは、そのような大きなモデルをデプロイすることは、非常に制約されたリソースのために実現不可能である。 これは、パラメータ化をスケールアップすることなく、深いASRモデルにおいて高い表現力を達成することができるかという根本的な疑問を提起する。 本研究では,深度の役割を再考し,多くの層が機能的に類似した変換を学習する層ワイズ表現力学を同定する。 そこで本研究では,パラメータ化深度を最小の繰り返しブロックに置き換えたブロック再帰型ASRアーキテクチャを提案する。 表現誘導型グルーピングと知識蒸留により、ブロックリカレントモデルは大きな参照モデルの精度を維持しつつ、桁違いに少ないパラメータを使用する。 Open ASR Leaderboardベンチマーク全体では、共有ブロックが2つしかないモデルが平均して97.4%の精度を回復する。 コンパクトなバックボーンにより、軽量なMoE-LoRA適応により、デバイス上での効率的なパーソナライズが可能となり、ユーザ固有のモデルは、推論コストが大幅に低い汎用ASRシステムの精度にマッチまたは超えることができる。 繰り返しステップ間で重みを再利用することにより、提案アーキテクチャはメモリアクセスオーバーヘッドと推論エネルギー消費を低減する。 これらの結果から,高いパラメータ化を伴わずに高品質なASRを実現することが可能であり,構造化された再帰は,エッジ上での超圧縮,エネルギー効率,パーソナライズされた音声認識への原則的経路を提供することが示された。

関連論文リスト

• VARestorer: One-Step VAR Distillation for Real-World Image Super-Resolution [76.19751531910039]
  本稿では,事前学習したテキストから画像へのVARモデルを,ワンステップのISRモデルに変換するフレームワークであるVARestorerを提案する。 VARestorerは、DIV2Kデータセット上で72.32 MUSIQと0.7669 CLIPIQAで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-04-23T09:09:36Z)
• Beyond Dense Connectivity: Explicit Sparsity for Scalable Recommendation [10.599218546511008]
  大規模モデルのスケーリングの最近の進歩は、モデル深度とキャパシティを向上し、大規模な行動データを活用するためのレコメンデーションシステムに動機付けている。 産業モデルの解析では、暗黙的な接続間隔の現象が示され、ほとんどの学習された接続重みはゼロになる傾向にあるが、わずかな部分しか顕著に残っていない。 bfSSR(ExplicittextbfSparsity for textbfScalable textbfRecommendation)を提案する。
  論文  参考訳（メタデータ） (2026-04-09T09:13:21Z)
• Large-Scale Model Enabled Semantic Communication Based on Robust Knowledge Distillation [45.347078403677216]
  大規模モデル(LSM)は意味表現と理解に有効なフレームワークである。 しかしながら、それらの直接的なデプロイメントは、しばしば高い計算複雑性とリソース要求によって妨げられる。 本稿では,新しい知識蒸留に基づくセマンティックコミュニケーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-04T07:47:18Z)
• Any Image Restoration via Efficient Spatial-Frequency Degradation Adaptation [158.37640586809187]
  劣化した画像を1つのモデルで効率的に復元することは、ますます重要になっている。 我々のアプローチはAnyIRと呼ばれ、様々な劣化にまたがる固有の類似性を活用する統一された経路をとっています。 劣化認識と文脈的注意を融合させるため,空間周波数並列融合戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-19T09:54:46Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• A Dynamic Residual Self-Attention Network for Lightweight Single Image Super-Resolution [17.094665593472214]
  軽量単一像超解像(SISR)のための動的残像自己アテンションネットワーク(DRSAN)を提案する。 DRSANは動的残留注意(DRA)に基づく動的残留接続を持ち、入力統計に基づいてその構造を適応的に変化させる。 また,余剰自己アテンション(RSA)モジュールも提案し,付加パラメータを伴わずに3次元のアテンションマップを生成する。
  論文  参考訳（メタデータ） (2021-12-08T06:41:21Z)
• An Efficient Deep Learning Model for Automatic Modulation Recognition Based on Parameter Estimation and Transformation [3.3941243094128035]
  本稿では,位相パラメータ推定と変換に基づく効率的なDL-AMRモデルを提案する。 我々のモデルは、類似の認識精度を持つベンチマークモデルよりも、トレーニング時間とテスト時間で競争力がある。
  論文  参考訳（メタデータ） (2021-10-11T03:28:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。