論文の概要: Transformer-based Neural Beamforming for Real-Time Speech Enhancement on Smart Low-Power Hearable Devices

• arxiv url: http://arxiv.org/abs/2609.33755v1
• Date: Sun, 27 Sep 2026 16:53:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 17:01:42.600482
• Title: Transformer-based Neural Beamforming for Real-Time Speech Enhancement on Smart Low-Power Hearable Devices
• Title（参考訳）: スマート低電力可聴デバイスにおけるリアルタイム音声強調のためのトランスフォーマを用いたニューラルビームフォーミング
• Abstract要約: マイクロコントローラ上での最小分散歪み無応答(MVDR)ビームフォーマのリアルタイム実行のための最適化手法を提案する。 パイプラインは6つのマイクと3段階の混合精度スキームを使用して、MVDR重量を推定するCNNと、フレーム毎の補正を行う軽量トランスフォーマーをペアリングする。 ビームフォーミングによる重み推定をタイムスライシングすることで、フレームあたり15msのレイテンシを実現し、CNN由来の重みの完全なセットを564ms毎にリフレッシュする。
• 参考スコア（独自算出の注目度）: 1.9289563450211726
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accurate, efficient, and low-latency spatial beamforming is a key component in emerging smart hearable devices, enhancing speech while suppressing noise and interference. However, handling multiple input sources under strict real-time constraints poses significant challenges for the low-power, resource-constrained microcontroller units (MCUs) used in hearables. We present an optimized methodology for the real-time execution of a neural-network-based minimum variance distortionless response (MVDR) beamformer on MCUs. Using six microphones and a three-stage mixed-precision scheme (float32 MVDR, int8 CNN, float16 Transformer), the pipeline pairs a CNN that estimates the MVDR weights with a lightweight Transformer that applies a per-frame correction. By time-slicing weight estimation with beamforming, it achieves a 15~ms per-frame latency while refreshing a complete set of CNN-derived weights every 564~ms. The deployed mixed-precision pipeline attains a short-time objective intelligibility (STOI) of 97.65\%, a scale-invariant signal-to-noise ratio (SI-SNR) of 20.26~dB, and a wideband PESQ of 3.676 at an average power of 45.9~mW. A speech activity detection (SAD) module (98.5\% accuracy, 0.62~mJ per inference) bypasses the pipeline during silence; under realistic deployment conditions, the system exceeds the 16~h all-day target on a 100~mAh battery, with an estimated lifetime of up to $\sim$20~h. To our knowledge, this is the first real-time multi-channel Transformer-based neural beamforming pipeline deployed on an MCU-class device.
• Abstract（参考訳）: 正確な、効率的、低レイテンシな空間ビームフォーミングは、新興のスマート可聴デバイスにおいて重要な要素であり、ノイズや干渉を抑えながら音声を増強する。 しかし、厳格なリアルタイム制約の下で複数の入力源を扱うことは、可聴器で使用される低消費電力のリソース制約マイクロコントローラユニット(MCU)に重大な課題をもたらす。 ニューラルネットワークを用いた最小分散歪み無応答(MVDR)ビームフォーマをMCU上でリアルタイムに実行するための最適化手法を提案する。 6つのマイクと3段階の混合精度スキーム(float32 MVDR、int8 CNN、float16 Transformer)を使用して、パイプラインはCNNと組み合わせ、MVDR重量をフレームごとに補正する軽量トランスフォーマーで推定する。 ビームフォーミングによる重み推定をタイムスライシングすることで、フレームあたり15～msのレイテンシを実現し、CNN由来の重みの完全なセットを564～ms毎にリフレッシュする。 展開された混合精度パイプラインは、97.65\%の短時間客観的インテリジェンス(STOI)、20.26~dBのスケール不変信号-雑音比(SI-SNR)、45.9〜mWの平均出力で3.676の広帯域PSSQを実現する。 音声活動検出(SAD)モジュール(精度98.5\%、推論当たり0.62~mJ)は、サイレント中にパイプラインをバイパスし、現実的な展開条件下では、100~mAhのバッテリーで16～hの目標を超過し、寿命は最大$\sim$20~hと推定される。 私たちの知る限り、これはMCUクラスのデバイスにデプロイされた、初めてリアルタイムマルチチャネルトランスフォーマーベースのニューラルビームフォーミングパイプラインである。

関連論文リスト

• Beyond Model Size: Redesigning LiSenNet for embedded speech enhancement [1.5469452301122175]
  音声強調ネットワークはパラメータ数とMACを名目上マイクロコントローラに適したレベルに減らしている。 我々は、STM32N6570-DK Neural-ARTアクセラレータのために、37kパラメータのサブバンドデュアルパスモデルであるLiSenNetを再設計することで、このギャップに対処する。 我々は、リカレントボトルネックを畳み込み周波数と時間ミキサーに置き換え、非サポート操作を静的な int8互換プリミティブとして再構成し、量子化後の品質を維持するために有界デコーダアクティベーションを使用する。
  論文  参考訳（メタデータ） (2026-09-24T14:24:43Z)
• TIO-Former: Ultra-Lightweight 6-Directional ToF-Inertial Odometry for Nano-UAVs via a Streaming Causal Transformer [19.298838240329292]
  TIO-FORMERは、ナノUAV用のカメラレス光フローナビゲーションフレームワークである。 ナノUAVの光学流と比較して、開ループ位置誤差を54.4%削減する。 資源制約されたマイクロエアリアルロボットに実用的なアンカーを提供する。
  論文  参考訳（メタデータ） (2026-09-15T13:54:06Z)
• TurboT2VA: Fast Large-Scale Text-to-Video-Audio Generation via Score-Regularized Consistency Distillation [105.14745366152725]
  TurboT2VAは、ジョイントテキスト・ツー・ビデオ・オーディオ生成のための蒸留および推論フレームワークである。 LTX-2では、4段階の蒸留により512$times$768の標準評価解像度でジェネレータのレイテンシを50.52sから2.51sに短縮する。 完全なスタックは、ジェネレータのレイテンシを318.74sから1つのNVIDIA H20で5.83sに短縮し、54.67$times$ジェネレータのみのスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-08-25T15:09:02Z)
• TinyML Enhances CubeSat Mission Capabilities [8.462623779881566]
  本稿では,画像分類のための畳み込みニューラルネットワーク(ConvNets)モデル最適化と配置パイプラインを提案する。 我々のパイプラインは、構造化された反復プルーニング、後のINT8量子化、および圧縮モデルへのハードウェア対応オペレータマッピングを統合している。 最適化されたモデルでは、RAM使用率89.55%、フラッシュメモリ709%の平均的な削減が示されている。
  論文  参考訳（メタデータ） (2026-03-20T17:51:07Z)
• LiQSS: Post-Transformer Linear Quantum-Inspired State-Space Tensor Networks for Real-Time 6G [85.58816960936069]
  Sixth-Generation (6G) Open Radio Access Networks (O-RAN) における能動的およびエージェント的制御は、厳密なニアタイム(Near-RT)レイテンシと計算制約の下で制御グレードの予測を必要とする。 本稿では,効率的な無線テレメトリ予測のための変圧器後パラダイムについて検討する。 本稿では、自己アテンションを安定な状態空間動的カーネルに置き換える量子インスピレーション付き状態空間テンソルネットワークを提案する。
  論文  参考訳（メタデータ） (2026-01-18T12:08:38Z)
• Neural-HAR: A Dimension-Gated CNN Accelerator for Real-Time Radar Human Activity Recognition [5.400353553418959]
  本稿では,資源制約のあるプラットフォーム上でのリアルタイムレーダHARに適した次元ゲート型CNNアクセラレータを提案する。 GateCNNの精度は86.4%で、パラメータは2.7kで、推論あたり0.28M FLOPはCNN-BiGRUに匹敵する。 Xilinx Zynq-7000 Z-7007SのFPGAプロトタイプは、LUTベースのROMと分散RAMのみを使用した107.5$mu$sレイテンシと15mWのダイナミックパワーを実現しました。
  論文  参考訳（メタデータ） (2025-10-26T17:42:28Z)
• Optimizing the Deployment of Tiny Transformers on Low-Power MCUs [12.905978154498499]
  この作業は、商用MCU上でのエンコーダTiny Transformersの柔軟性とマルチプラットフォームデプロイメントの実現と最適化を目的としている。 我々のフレームワークは、データの再利用を最大化し、重要な注意ブロックにデータマーシャリング操作を避けるために、カーネルの最適化ライブラリを提供する。 MHSA深度優先のタイリング方式はメモリピークを最大6.19倍に減らし、融合重み付けはランタイムを1.53倍減らし、パラメータ数を25%減らすことを示した。
  論文  参考訳（メタデータ） (2024-04-03T14:14:08Z)
• Container: Context Aggregation Network [83.12004501984043]
  最近の発見は、従来の畳み込みやトランスフォーマーコンポーネントを使わずに、シンプルなベースのソリューションが効果的な視覚表現を生成できることを示している。 マルチヘッドコンテキストアグリゲーションのための汎用ビルディングブロックCONText Ion NERtwokを提案する。 より大規模な入力画像解像度に依存する下流タスクにはスケールしないTransformerベースの手法とは対照的に、当社の効率的なネットワークであるModellightは、オブジェクト検出やインスタンスセグメンテーションネットワークに利用することができる。
  論文  参考訳（メタデータ） (2021-06-02T18:09:11Z)
• FastEmit: Low-latency Streaming ASR with Sequence-level Emission Regularization [78.46088089185156]
  ストリーム自動音声認識(ASR)は、仮説化された単語を可能な限り迅速かつ正確に出力することを目的としている。 既存のアプローチでは、シーケンストランスデューサモデルにおいて、トーケン単位またはフレーム単位の確率予測を演算することで、発光遅延をペナルティ化する。 本稿では,訓練用トランスデューサモデルにおいて,シーケンス毎の確率に遅延正規化を直接適用する,FastEmitというシーケンスレベルのエミッション正規化手法を提案する。
  論文  参考訳（メタデータ） (2020-10-21T17:05:01Z)
• End-to-End Multi-speaker Speech Recognition with Transformer [88.22355110349933]
  音声認識モデルにおけるRNNベースのエンコーダデコーダをトランスフォーマーアーキテクチャに置き換える。 また、計算量を削減するために、シーケンス全体ではなくセグメントに制限されるセルフアテンションコンポーネントを変更します。
  論文  参考訳（メタデータ） (2020-02-10T16:29:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。