論文の概要: Running Conventional Automatic Speech Recognition on Memristor Hardware: A Simulated Approach

• arxiv url: http://arxiv.org/abs/2505.24721v1
• Date: Fri, 30 May 2025 15:42:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:53.046016
• Title: Running Conventional Automatic Speech Recognition on Memristor Hardware: A Simulated Approach
• Title（参考訳）: メムリスタハードウェア上での従来型音声認識:シミュレーションによるアプローチ
• Authors: Nick Rossenbach, Benedikt Hilmes, Leon Brackmann, Moritz Gunz, Ralf Schlüter,
• Abstract要約: 数百万のパラメータを持つMLシステムがmemristorハードウェア上でどのように振る舞うかを示す。 我々は,3ビット重み精度を用いて線形演算を行う場合,単語誤り率の相対劣化を25%に制限する。
• 参考スコア（独自算出の注目度）: 18.47703842449581
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Memristor-based hardware offers new possibilities for energy-efficient machine learning (ML) by providing analog in-memory matrix multiplication. Current hardware prototypes cannot fit large neural networks, and related literature covers only small ML models for tasks like MNIST or single word recognition. Simulation can be used to explore how hardware properties affect larger models, but existing software assumes simplified hardware. We propose a PyTorch-based library based on "Synaptogen" to simulate neural network execution with accurately captured memristor hardware properties. For the first time, we show how an ML system with millions of parameters would behave on memristor hardware, using a Conformer trained on the speech recognition task TED-LIUMv2 as example. With adjusted quantization-aware training, we limit the relative degradation in word error rate to 25% when using a 3-bit weight precision to execute linear operations via simulated analog computation.
• Abstract（参考訳）: Memristorベースのハードウェアは、アナログインメモリ行列乗算を提供することにより、エネルギー効率のよい機械学習(ML)の新たな可能性を提供する。 現在のハードウェアプロトタイプは大きなニューラルネットワークに適合せず、関連する文献はMNISTやシングルワード認識のようなタスクのための小さなMLモデルのみをカバーする。 シミュレーションは、ハードウェア特性がより大きなモデルにどのように影響するかを研究するのに使えるが、既存のソフトウェアは単純化されたハードウェアを前提としている。 本稿では,SynaptogenをベースとしたPyTorchベースのライブラリを提案する。 音声認識タスクTED-Liumv2で訓練されたコンフォーマーを用いて,数百万のパラメータを持つMLシステムがメムリスタハードウェア上でどのように振る舞うかを初めて示す。 適応型量子化学習では,3ビット重み精度を用いて擬似アナログ計算による線形演算を行う場合,単語誤り率の相対劣化を25%に制限する。

関連論文リスト

• Analog Foundation Models [6.589590906512612]
  アナログインメモリコンピューティング(AIMC)は、ニューラルネットワーク計算の速度と電力効率を改善するための有望な計算パラダイムである。 AIMCは、ノイズ計算や入力と量子化に関する厳密な推論といった基本的な課題を導入している。 低精度アナログハードウェア上で堅牢な適応と実行を実現するための,汎用的なスケーラブルな手法を提案する。
  論文  参考訳（メタデータ） (2025-05-14T14:52:22Z)
• An Efficient Quantum Classifier Based on Hamiltonian Representations [50.467930253994155]
  量子機械学習(QML)は、量子コンピューティングの利点をデータ駆動タスクに移行しようとする分野である。 入力をパウリ弦の有限集合にマッピングすることで、データ符号化に伴うコストを回避できる効率的な手法を提案する。 我々は、古典的および量子モデルに対して、テキストおよび画像分類タスクに対する我々のアプローチを評価する。
  論文  参考訳（メタデータ） (2025-04-13T11:49:53Z)
• A Hybrid Transformer Architecture with a Quantized Self-Attention Mechanism Applied to Molecular Generation [0.0]
  本稿では,トランスデコーダの一部として,量子古典的自己アテンション機構を提案する。 クェリキードット積の時間的複雑さは古典的モデルでは$mathcalO(n2 d)$から量子モデルでは$mathcalO(n2 d)$に減少する。 この研究は、量子化自然言語処理(NLP)のための有望な道を提供する。
  論文  参考訳（メタデータ） (2025-02-26T15:15:01Z)
• Machine Learning for Arbitrary Single-Qubit Rotations on an Embedded Device [1.3753825907341728]
  フィールドプログラマブル論理を用いた単一キュービットゲート合成に機械学習(ML)を用いる手法を提案する。 まず、ゲートの忠実度を測定するためのフルステートベクタにアクセス可能なシミュレーションに基づいて、モデルをブートストラップする。 次に,適応ランダム化ベンチマーク (ARB) というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-20T04:59:38Z)
• DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
  実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。 活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。 DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
  論文  参考訳（メタデータ） (2024-11-04T18:26:08Z)
• Validating Large-Scale Quantum Machine Learning: Efficient Simulation of Quantum Support Vector Machines Using Tensor Networks [17.80970950814512]
  本稿では,大規模量子回路のシミュレーションに有効なテンソルネットワーク方式を提案する。 我々のシミュレーターは、最大784キュービットのQSVMをうまく処理し、1つの高性能GPU上で数秒でシミュレーションを完了する。
  論文  参考訳（メタデータ） (2024-05-04T10:37:01Z)
• Quantization of Deep Neural Networks to facilitate self-correction of weights on Phase Change Memory-based analog hardware [0.0]
  乗法重みの集合を近似するアルゴリズムを開発する。 これらの重みは、性能の損失を最小限に抑えながら、元のネットワークの重みを表現することを目的としている。 その結果、オンチップパルス発生器と組み合わせると、私たちの自己補正ニューラルネットワークはアナログ認識アルゴリズムで訓練されたものと同等に機能することがわかった。
  論文  参考訳（メタデータ） (2023-09-30T10:47:25Z)
• Token Turing Machines [53.22971546637947]
  Token Turing Machines (TTM) はシーケンシャルな自己回帰型トランスフォーマーモデルである。 我々のモデルは、セミナルなニューラルチューリングマシンにインスパイアされ、以前の履歴を要約するトークンの集合からなる外部メモリを持つ。
  論文  参考訳（メタデータ） (2022-11-16T18:59:18Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• Statistically Meaningful Approximation: a Case Study on Approximating Turing Machines with Transformers [50.85524803885483]
  本研究は,統計的学習性を示すために近似ネットワークを必要とする統計有意(SM)近似の形式的定義を提案する。 回路とチューリングマシンの2つの機能クラスに対するSM近似について検討する。
  論文  参考訳（メタデータ） (2021-07-28T04:28:55Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。