論文の概要: Kernel Approximation using Analog In-Memory Computing

• arxiv url: http://arxiv.org/abs/2411.03375v1
• Date: Tue, 05 Nov 2024 16:18:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:22:26.936760
• Title: Kernel Approximation using Analog In-Memory Computing
• Title（参考訳）: アナログインメモリコンピューティングを用いたカーネル近似
• Authors: Julian Büchel, Giacomo Camposampiero, Athanasios Vasilopoulos, Corey Lammie, Manuel Le Gallo, Abbas Rahimi, Abu Sebastian,
• Abstract要約: カーネル関数は、いくつかの機械学習アルゴリズムの重要な要素であるが、しばしば大きなメモリと計算コストを発生させる。 本稿では,混合信号アナログメモリ・コンピューティング(AIMC)アーキテクチャに適した機械学習アルゴリズムにおけるカーネル近似手法を提案する。
• 参考スコア（独自算出の注目度）: 3.5231018007564203
• License:
• Abstract: Kernel functions are vital ingredients of several machine learning algorithms, but often incur significant memory and computational costs. We introduce an approach to kernel approximation in machine learning algorithms suitable for mixed-signal Analog In-Memory Computing (AIMC) architectures. Analog In-Memory Kernel Approximation addresses the performance bottlenecks of conventional kernel-based methods by executing most operations in approximate kernel methods directly in memory. The IBM HERMES Project Chip, a state-of-the-art phase-change memory based AIMC chip, is utilized for the hardware demonstration of kernel approximation. Experimental results show that our method maintains high accuracy, with less than a 1% drop in kernel-based ridge classification benchmarks and within 1% accuracy on the Long Range Arena benchmark for kernelized attention in Transformer neural networks. Compared to traditional digital accelerators, our approach is estimated to deliver superior energy efficiency and lower power consumption. These findings highlight the potential of heterogeneous AIMC architectures to enhance the efficiency and scalability of machine learning applications.
• Abstract（参考訳）: カーネル関数は、いくつかの機械学習アルゴリズムの重要な要素であるが、しばしば大きなメモリと計算コストを発生させる。 本稿では,混合信号アナログメモリ・コンピューティング(AIMC)アーキテクチャに適した機械学習アルゴリズムにおけるカーネル近似手法を提案する。 アナログメモリカーネル近似(Analog In-Memory Kernel Approximation)は、カーネルメソッドを直接メモリ上で実行することにより、従来のカーネルベースのメソッドのパフォーマンスボトルネックに対処する。 IBM HERMES Project Chipは、最先端の位相変化メモリベースのAIMCチップであり、カーネル近似のハードウェア実証に利用されている。 実験の結果,トランスフォーマーニューラルネットワークにおいて,カーネルベースリッジ分類ベンチマークでは1%未満,Long Range Arenaベンチマークでは1%以内の精度で,高い精度を維持していることがわかった。 従来のデジタル加速器と比較して、我々の手法はエネルギー効率と消費電力の低減をもたらすと見積もられている。 これらの知見は、機械学習アプリケーションの効率性とスケーラビリティを高めるため、異種AIMCアーキテクチャの可能性を強調している。

関連論文リスト

• MIK: Modified Isolation Kernel for Biological Sequence Visualization, Classification, and Clustering [3.9146761527401424]
  本研究は,ガウスカーネルの代替として,改良分離カーネル (MIK) と呼ばれる新しいアプローチを提案する。 MIKは適応密度推定を用いて局所構造をより正確に捉え、ロバストネス対策を統合する。 局所的および大域的な構造の保存を改善し、組込み空間におけるクラスタとサブクラスタのより良い可視化を可能にする。
  論文  参考訳（メタデータ） (2024-10-21T06:57:09Z)
• Accelerating TinyML Inference on Microcontrollers through Approximate Kernels [3.566060656925169]
  本研究では、近似計算とソフトウェアカーネル設計を組み合わせることで、マイクロコントローラ上での近似CNNモデルの推定を高速化する。 CIFAR-10データセットでトレーニングされたSTM32-Nucleoボードと2つの人気のあるCNNによる評価は、最先端の正確な推測と比較すると、平均21%のレイテンシ削減が可能であることを示している。
  論文  参考訳（メタデータ） (2024-09-25T11:10:33Z)
• Center-Sensitive Kernel Optimization for Efficient On-Device Incremental Learning [88.78080749909665]
  現在のオンデバイストレーニング手法は、破滅的な忘れを考慮せずに、効率的なトレーニングにのみ焦点をあてている。 本稿では,単純だが効果的なエッジフレンドリーなインクリメンタル学習フレームワークを提案する。 本手法は,メモリの削減と近似計算により,平均精度38.08%の高速化を実現する。
  論文  参考訳（メタデータ） (2024-06-13T05:49:29Z)
• Pruning random resistive memory for optimizing analogue AI [54.21621702814583]
  AIモデルは、エネルギー消費と環境持続可能性に前例のない課題を提示する。 有望な解決策の1つは、アナログコンピューティングを再考することである。 ここでは、構造的塑性に着想を得たエッジプルーニングを用いたユニバーサルソリューション、ソフトウェア・ハードウエアの共設計について報告する。
  論文  参考訳（メタデータ） (2023-11-13T08:59:01Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Scalable Optimal Margin Distribution Machine [50.281535710689795]
  ODM(Optimal margin Distribution Machine)は、新しいマージン理論に根ざした新しい統計学習フレームワークである。 本稿では,従来のODMトレーニング手法に比べて10倍近い高速化を実現するスケーラブルなODMを提案する。
  論文  参考訳（メタデータ） (2023-05-08T16:34:04Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Kernel Identification Through Transformers [54.3795894579111]
  カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。 この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。 KITT: Kernel Identification through Transformersを提案する。
  論文  参考訳（メタデータ） (2021-06-15T14:32:38Z)
• Memory and Computation-Efficient Kernel SVM via Binary Embedding and Ternary Model Coefficients [18.52747917850984]
  カーネル近似はカーネルSVMのトレーニングと予測のスケールアップに広く用いられている。 メモリ制限されたデバイスにデプロイしたい場合、カーネル近似モデルのメモリと計算コストはまだ高すぎる。 本稿では,バイナリ埋め込みとバイナリモデル係数を用いて,新しいメモリと計算効率の高いカーネルSVMモデルを提案する。
  論文  参考訳（メタデータ） (2020-10-06T09:41:54Z)
• Towards automated kernel selection in machine learning systems: A SYCL case study [0.0]
  本稿では,ライブラリに高性能なSYCLカーネルをデプロイするケーススタディにおいて,機械学習を用いてカーネルの選択を行う。 自動チューニングと機械学習を組み合わせることで、これらのカーネル選択プロセスは、新しいハードウェアで高いパフォーマンスを達成するための開発者の努力をほとんど必要とせずにデプロイできる。
  論文  参考訳（メタデータ） (2020-03-15T11:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。