論文の概要: HyVox: Rethinking Low-Power Voice Intelligence towards Neuromorphic-von Neumann Edge Computing
- arxiv url: http://arxiv.org/abs/2611.03735v1
- Date: Sun, 01 Nov 2026 16:57:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 11:24:21.565949
- Title: HyVox: Rethinking Low-Power Voice Intelligence towards Neuromorphic-von Neumann Edge Computing
- Title(参考訳): HyVox:Neumannエッジコンピューティングへの低消費電力音声インテリジェンスの再考
- Abstract要約: HyVoxは低エネルギー開集合話者識別のためのハイブリッドニューロモルフィック-ヴォンニューマンシステムである。
ニューロモルフィックプロセッサは、音声をスパースなイベント駆動計算で埋め込む。
クエリをコサイン類似度でスコアし、未知の話者を拒絶し、プロトタイプを書くことで新規ユーザを登録する。
- 参考スコア(独自算出の注目度): 0.7851792567195045
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present HyVox, a hybrid neuromorphic--von Neumann system for low-energy open-set speaker identification under tight energy budgets. HyVox splits the workload at the speaker embedding. A neuromorphic processor embeds the speech with sparse, event-driven computation, and a von Neumann microcontroller holds the speaker gallery and makes every decision: it scores queries by cosine similarity, rejects unknown speakers, and enrolls new users by writing a prototype, with no weight update. On the neuromorphic processor, a hierarchical temporal abstraction (HTA) SNN backbone learns a synaptic time constant per leaky integrate-and-fire (LIF) neuron, allocating 832 neurons across fast, medium, and slow timescales. A 32-neuron spiking embedding extractor (SEE), pretrained on episodes that each enroll new speakers and reject outsiders, turns the backbone output into an embedding for speakers unseen in training; its 32 spike counts are the only interface between the two processors. To fit the chip's synapse and integer budgets, we compress the backbone 6.5x to 29.0k synapses, train it for integer bit-shift dynamics, and fine-tune it with chip-accurate spiking training (CAST). CAST trains through a differentiable replica of the chip's integer neuron update, derived from its cycle-accurate simulator, so that gradient descent optimizes the exact weights and thresholds the chip runs; it doubles the top-1 accuracy of the mapped backbone on unseen speakers. On 20 Common Voice households of unseen speakers, HyVox reaches 99.6\% top-1 and 5.5\% rejection EER with 2 members and 94.9\% and 13.2\% with 20, and the network deployed on the neuromorphic chip matches its trained model. Each inference on a 3-s window takes 0.96 s and 1.63 mJ of dynamic energy, 42\% lower latency than the fastest embedded ANN baseline and 13.5x less dynamic and 5.8x less total energy than the most energy-efficient one.
- Abstract(参考訳): タイトエネルギー予算下での低エネルギー開集合話者識別のためのハイブリッドニューロモルフィック-ヴォンニューマンシステムであるHyVoxを提案する。
HyVoxは、スピーカーの埋め込みでワークロードを分割する。
ニューロモルフィックプロセッサは、スピーチをスパース、イベント駆動計算、そしてフォン・ノイマンのマイクロコントローラがスピーカーギャラリーを保持し、すべての決定を行う。
ニューロモルフィックプロセッサでは、階層的時間的抽象化(HTA)SNNバックボーンは、漏れた統合・火災(LIF)ニューロン当たりのシナプス時間定数を学習し、高速、中速、低速の時間スケールにわたって832ニューロンを割り当てる。
SEE(32-neuron Spiking Embedding extractor)は、各話者が新しい話者を登録し、外部の話者を拒絶するエピソードに基づいて事前訓練され、バックボーン出力をトレーニング中に見えない話者のための埋め込みに変換する。
チップのシナプスと整数の予算に合わせるため、バックボーンを6.5xから29.0kに圧縮し、整数ビットシフトダイナミクスのためにトレーニングし、チップ正確なスパイキングトレーニング(CAST)で微調整する。
CASTは、サイクル精度のシミュレータから導かれたチップの整数ニューロン更新の異なるレプリカをトレーニングし、勾配勾配がチップの正確な重量と閾値を最適化する。
20の共通音声話者では、HyVoxは99.6\%のトップ-1と5.5\%の拒絶EERに2人のメンバーと94.9\%と13.2\%に到達し、ニューロモルフィックチップに配備されたネットワークはその訓練されたモデルと一致する。
3sウィンドウ上の各推論は、0.96秒と1.63mJのダイナミックエネルギーを消費し、ANNベースラインよりも42\%のレイテンシと13.5倍のダイナミック、そしてエネルギー効率のよいものよりも5.8倍のエネルギーを消費する。
関連論文リスト
- Nemotron 3.5 Super and Lightning: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Models for Agentic AI [305.64163943247576]
我々はNemotron 3.5 Super and Nemotron 3.5 Lightning, Open and efficient Mixture-of-Experts Hybrid Mamba-Transformer Modelを紹介する。
どちらのモデルも、大規模な蒸留、長期のコンテキストトレーニング、ネイティブ投機的復号化を組み合わせたものである。
論文 参考訳(メタデータ) (2026-10-28T00:28:08Z) - Bio-Inspired Auditory Processing: Coupling Parallel Resonate-and-Fire Dynamics with Ternary Recurrent Networks for Speech Recognition [4.5153883425249015]
スパイキングニューラルネットワーク(SNN)は、イベント駆動推論によるエネルギー効率の高い計算を約束する。
主要なボトルネックはLeaky Integrate-and-Fireニューロンで、膜崩壊は一時停止や境界を越えて情報を消去する。
非線形フィルタリングとソマティックな積分の分離から着想を得たスパイキング3次GRUを導入する。
論文 参考訳(メタデータ) (2026-10-21T13:29:46Z) - NAVIR: Neuromorphic Audio-Visual Speech Recognition for Robust Human-Robot Interaction on Edge Hardware [0.0]
NAVIRはBrainChip AkidaニューロモーフィックプロセッサをターゲットにしたエンドツーエンドのAVSRシステムである。
モデルは、ノイズ強化オーディオの接続性時間分類を用いて訓練される。
98.6%のコマンド精度を1.5% WERで達成している。
論文 参考訳(メタデータ) (2026-09-21T10:36:30Z) - VibeVoice-ASR-BitNet Technical Report [86.93881874028209]
VibeVoice-ASR-BitNetは、エッジCPU上のリアルタイム推論に最適化されたVibeVoice-ASRの圧縮版である。
攻撃的圧縮下での精度を維持するために,プログレッシブ量子化対応トレーニング戦略を実装した。
VibeVoice-ASR-BitNetはWhisperより1.6-2.3倍速い。
論文 参考訳(メタデータ) (2026-07-23T09:08:04Z) - ZenBrain: A Neuroscience-Inspired 7-Layer Memory Architecture for Autonomous AI Systems [51.56484100374058]
LongMemEval-500では、ZenBrainは長いコンテキストのオラクルのバイナリ・ジャッジの精度を4.5pp以内と一致させる。
ZenBrainは7層の神経科学にインスパイアされたメモリアーキテクチャである。
論文 参考訳(メタデータ) (2026-04-26T20:39:19Z) - iPhoneme: Brain-to-Text Communication for ALS Using ConformerXL Decoding [1.529342790344802]
ALS患者のための脳とテキストのコミュニケーションシステム iPhoneme について述べる。
このシステムは、深層学習音素デコーダと、視線支援音素入力インタフェースを組み合わせる。
インタラクションの面では、iPhonemeは、居住時間選択を代替するコード付きガウン+サイレント音声パラダイムを導入している。
論文 参考訳(メタデータ) (2026-04-07T05:08:27Z) - Darwin3: A large-scale neuromorphic chip with a Novel ISA and On-Chip
Learning [19.4694809389434]
本稿では,新しい命令セットアーキテクチャを備えた大規模ニューロモルフィックチップDarwin3を提案する。
ダーウィン3チップは最大235万個のニューロンをサポートしており、ニューロンの規模では最大である。
論文 参考訳(メタデータ) (2023-12-29T12:35:26Z) - Analyzing And Improving Neural Speaker Embeddings for ASR [54.30093015525726]
本稿では,コンバータをベースとしたハイブリッドHMM ASRシステムに,ニューラルスピーカーの埋め込みを統合するための取り組みについて述べる。
話者埋め込みを用いたコンフォーマーベースハイブリッドASRシステムは, SWB 300hでのトレーニングにより, Hub5'00 と Hub5'01 で 9.0% WER を達成する。
論文 参考訳(メタデータ) (2023-01-11T16:56:03Z) - Real-time Speaker counting in a cocktail party scenario using
Attention-guided Convolutional Neural Network [60.99112031408449]
重なり合う音声におけるアクティブ話者数を推定するために,CNN(Real-time, Single-channel attention-guided Convolutional Neural Network)を提案する。
提案システムは,CNNモデルを用いて音声スペクトルから高レベル情報を抽出する。
WSJコーパスを用いた重畳音声のシミュレーション実験により,従来の時間平均プーリングに比べて,注意解がほぼ3%向上することが示されている。
論文 参考訳(メタデータ) (2021-10-30T19:24:57Z) - End-to-End Multi-speaker Speech Recognition with Transformer [88.22355110349933]
音声認識モデルにおけるRNNベースのエンコーダデコーダをトランスフォーマーアーキテクチャに置き換える。
また、計算量を削減するために、シーケンス全体ではなくセグメントに制限されるセルフアテンションコンポーネントを変更します。
論文 参考訳(メタデータ) (2020-02-10T16:29:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。