論文の概要: Positional Encoding in the Context of Memristor-Based Analog Computation for Automatic Speech Recognition

• arxiv url: http://arxiv.org/abs/2606.13379v1
• Date: Thu, 11 Jun 2026 14:05:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.837097
• Title: Positional Encoding in the Context of Memristor-Based Analog Computation for Automatic Speech Recognition
• Title（参考訳）: 自動音声認識のためのメムリスタに基づくアナログ計算の文脈における位置符号化
• Authors: Benedikt Hilmes, Nick Rossenbach, Ralf Schlüter,
• Abstract要約: 変換された位置エンコーディングの大きな出力値を特定し、アナログ-デジタル変換において大きな劣化を引き起こす。 特定の膜層におけるADCの重みと精度ビットの比率を調整することにより, 性能劣化を50%低減する。
• 参考スコア（独自算出の注目度）: 15.992009842323379
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Memristors provide a new chance for resource-efficient computation of neural models for natural language processing by enabling analog execution of vector-matrix-multiplication. Yet, computations on these devices are currently subject to larger distortion, both in weight programming and execution. In this work, we identify large output values of transformed positional encodings to cause major degradation within analog-to-digital conversion (ADC) as part of memristor-based computation. By adjusting the proportion of weight and precision bits of the ADC of specific memristor layers, we reduce the degradation of the execution by ~50% relative, while keeping the estimated energy consumption stable. Additionally, we investigate scenarios where the ADC cannot be modified. In that case the degradation can be reduced by ~30% relative after removing encoding-related linear transformations.
• Abstract（参考訳）: Memristorsは、ベクトル行列乗算のアナログ実行を有効にすることで、自然言語処理のためのニューラルネットワークのリソース効率の高い計算の新たな機会を提供する。 しかし、これらのデバイス上の計算は、現在、重み付けプログラミングと実行の両方において大きな歪みにさらされている。 本研究では,変換された位置エンコーディングの大規模な出力値を特定し,アナログ-デジタル変換(ADC)において,メムリスタに基づく計算の一部として大きな劣化を引き起こす。 特定の膜層におけるADCの重量および精度ビットの比率を調整することにより, エネルギー消費を安定に保ちながら, 相対的に約50%の劣化を減少させる。 さらに,ADCを修正できないシナリオについても検討する。 この場合、符号化関連の線形変換を除去した後、劣化を30%程度減少させることができる。

関連論文リスト

• CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs [48.961770224590204]
  CODAは、これらの計算をGEMM+epilogueプログラムとして表現するGPUカーネル抽象化である。 我々は,CODAがフレームワークレベルの生産性とハードウェアレベルの効率を両立させるための実践的な方法を提供することを示した。
  論文  参考訳（メタデータ） (2026-05-19T02:30:43Z)
• STaMP: Sequence Transformation and Mixed Precision for Low-Precision Activation Quantization [21.93314755695813]
  量子化は、生成AIモデルの推論レイテンシ、電力、メモリフットプリントを低減するための重要な方法である。 テキストシーケンス変換と混合精度(STaMP)量子化を提案する。
  論文  参考訳（メタデータ） (2025-10-30T17:53:42Z)
• Degeneracy Cutting: A Local and Efficient Post-Processing for Belief Propagation Decoding of Quantum Low-Density Parity-Check Codes [0.9558392439655014]
  量子低密度パリティチェック(qLDPC)符号は、スケーラブルなフォールトトレラント量子計算を実現することを約束している。 qLDPC符号を復号化するための一般的なアプローチは、信念伝播デコーダ(BP)を使い、その後に復号化の精度を高めるための後処理ステップを用いることである。 リアルタイムデコーディングでは、処理後アルゴリズムは計算コストが小さく、並列実装を容易にするためにTannerグラフ上のローカル操作にのみ依存することが望ましい。 我々は,各安定化器の支持に制限された情報を操作するBPデコーダの効率的な後処理手法であるデジェネリアシーカット(DC)を提案する。
  論文  参考訳（メタデータ） (2025-10-09T18:01:30Z)
• Image Coding for Machines via Feature-Preserving Rate-Distortion Optimization [31.210700220124192]
  本研究では,与えられたタスク損失に対する圧縮の効果を低減させる手法として,特徴量間の距離を用いてレート歪み(RDO)を行う方法を示す。 我々は、ブロックベースのエンコーダを用いて歪み項を計算可能にするために、RDOの定式化を単純化する。 複数の特徴抽出器と下流ネットワークに変換されたHEVCを用いたシミュレーションでは、同じタスクの精度で最大で17%のビットレートのセーブが可能であることを示す。
  論文  参考訳（メタデータ） (2025-04-03T02:11:26Z)
• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• Adaptive Computation Modules: Granular Conditional Computation For Efficient Inference [12.371152982808914]
  本稿では,適応計算モジュール (Adaptive Computation Module, ACM) を提案する。 ACMは、先行する学習者の出力を段階的に洗練する学習者列から構成される。追加のゲーティング機構は、各トークンに対して最適な学習者数を決定する。 コンピュータビジョンおよび音声認識におけるトランスフォーマーモデルの評価により,ACMを用いた置換層は,広範囲のユーザ定義予算において,下流の精度を低下させることなく,推論コストを大幅に低減することを示した。
  論文  参考訳（メタデータ） (2023-12-15T20:39:43Z)
• Incrementally-Computable Neural Networks: Efficient Inference for Dynamic Inputs [75.40636935415601]
  ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。 インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。 本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-27T16:30:27Z)
• Compute Cost Amortized Transformer for Streaming ASR [23.950740806308687]
  本稿では,ストリーミングトランスフォーマーを用いたエンドツーエンド自動音声認識アーキテクチャを提案する。 我々のアーキテクチャは、推論時にスパース計算経路を動的に生成し、デコードを通して計算資源を選択的に活用する。 我々の最良のモデルでは、相対的な単語誤り率(WER)がわずか3%増加するだけで、60%の計算コスト削減が達成できる。
  論文  参考訳（メタデータ） (2022-07-05T03:06:53Z)
• Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
  長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。 現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。 本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:24:02Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。