論文の概要: FeBiM: Efficient and Compact Bayesian Inference Engine Empowered with Ferroelectric In-Memory Computing

• arxiv url: http://arxiv.org/abs/2410.19356v1
• Date: Fri, 25 Oct 2024 07:24:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:33:32.473195
• Title: FeBiM: Efficient and Compact Bayesian Inference Engine Empowered with Ferroelectric In-Memory Computing
• Title（参考訳）: FeBiM: 強誘電体インメモリコンピューティングを利用した効率よくコンパクトなベイズ推論エンジン
• Authors: Chao Li, Zhicheng Xu, Bo Wen, Ruibin Mao, Can Li, Thomas Kämpfe, Kai Ni, Xunzhao Yin,
• Abstract要約: マルチビット強誘電体電界効果トランジスタ(FeFET)を用いた高速かつコンパクトなベイズ推論エンジンFeBiMを提案する。 FeBiMは、コンパクトFeFETベースのクロスバー内でベイズ推論モデルの訓練された確率を効果的に符号化する。 FeFETベースの最初のインメモリベイズ推論エンジンとして、FeBiMは26.32 Mb/mm$2$で、計算効率は581.40 TOPS/Wである。
• 参考スコア（独自算出の注目度）: 11.332856146835338
• License:
• Abstract: In scenarios with limited training data or where explainability is crucial, conventional neural network-based machine learning models often face challenges. In contrast, Bayesian inference-based algorithms excel in providing interpretable predictions and reliable uncertainty estimation in these scenarios. While many state-of-the-art in-memory computing (IMC) architectures leverage emerging non-volatile memory (NVM) technologies to offer unparalleled computing capacity and energy efficiency for neural network workloads, their application in Bayesian inference is limited. This is because the core operations in Bayesian inference differ significantly from the multiplication-accumulation (MAC) operations common in neural networks, rendering them generally unsuitable for direct implementation in most existing IMC designs. In this paper, we propose FeBiM, an efficient and compact Bayesian inference engine powered by multi-bit ferroelectric field-effect transistor (FeFET)-based IMC. FeBiM effectively encodes the trained probabilities of a Bayesian inference model within a compact FeFET-based crossbar. It maps quantized logarithmic probabilities to discrete FeFET states. As a result, the accumulated outputs of the crossbar naturally represent the posterior probabilities, i.e., the Bayesian inference model's output given a set of observations. This approach enables efficient in-memory Bayesian inference without the need for additional calculation circuitry. As the first FeFET-based in-memory Bayesian inference engine, FeBiM achieves an impressive storage density of 26.32 Mb/mm$^{2}$ and a computing efficiency of 581.40 TOPS/W in a representative Bayesian classification task. These results demonstrate 10.7$\times$/43.4$\times$ improvement in compactness/efficiency compared to the state-of-the-art hardware implementation of Bayesian inference.
• Abstract（参考訳）: トレーニングデータに制限がある場合や説明責任が重要である場合、従来のニューラルネットワークベースの機械学習モデルは、しばしば課題に直面します。 対照的に、ベイズ推論に基づくアルゴリズムは、これらのシナリオにおいて解釈可能な予測と確実な不確実性推定を提供するのに優れている。 多くの最先端のインメモリコンピューティング(IMC)アーキテクチャは、新しい非揮発性メモリ(NVM)技術を活用して、ニューラルネットワークワークロードの非並列コンピューティング能力とエネルギー効率を提供するが、ベイズ推論での応用は限られている。 これは、ベイズ推論のコア操作が、ニューラルネットワークに共通する乗算累積演算(MAC)操作と大きく異なるためであり、ほとんどの既存のIMC設計において直接実装するには一般的には適さない。 本稿では,マルチビット強誘電体電界効果トランジスタ(FeFET)を用いた高速かつコンパクトなベイズ推論エンジンFeBiMを提案する。 FeBiMは、コンパクトFeFETベースのクロスバー内でベイズ推論モデルの訓練された確率を効果的に符号化する。 量子対数確率を離散FeFET状態にマッピングする。 その結果、クロスバーの累積出力は自然に後部確率を表し、すなわちベイズ推定モデルの出力には一連の観測結果が与えられる。 このアプローチは、余分な計算回路を必要とせずに、効率的なインメモリベイズ推論を可能にする。 FeFETベースの最初のインメモリベイズ推論エンジンとして、FeBiMは26.32 Mb/mm$^{2}$のストレージ密度と、代表的なベイズ分類タスクにおいて581.40 TOPS/Wの計算効率を達成する。 これらの結果は、10.7$\times$/43.4$\times$のコンパクトさ/効率の向上をベイズ推論の最先端ハードウェア実装と比較して示している。

関連論文リスト

• Implicit Generative Prior for Bayesian Neural Networks [8.013264410621357]
  複雑なデータ構造のための新しいニューラルネットワーク型経験ベイズ(NA-EB)フレームワークを提案する。 NA-EBフレームワークは変分推論と勾配上昇アルゴリズムを組み合わせたものである。 各種タスクの広範囲な評価を通じて,本フレームワークの実践的応用を実証する。
  論文  参考訳（メタデータ） (2024-04-27T21:00:38Z)
• DB-LLM: Accurate Dual-Binarization for Efficient LLMs [83.70686728471547]
  大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。 既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。 本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:04:30Z)
• Pseudo-Likelihood Inference [16.934708242852558]
  Pseudo-Likelihood Inference (PLI)は、ABCに神経近似をもたらす新しい方法であり、ベイズシステムの識別に挑戦するタスクと競合する。 PLIは、勾配降下による神経後葉の最適化を可能にし、要約統計に頼らず、入力として複数の観察を可能にする。 PLIの有効性は、4つの古典的SBIベンチマークタスクと非常にダイナミックな物理システムで評価される。
  論文  参考訳（メタデータ） (2023-11-28T10:17:52Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Hybrid In-memory Computing Architecture for the Training of Deep Neural Networks [5.050213408539571]
  ハードウェアアクセラレータ上でのディープニューラルネットワーク(DNN)のトレーニングのためのハイブリッドインメモリコンピューティングアーキテクチャを提案する。 HICをベースとしたトレーニングでは,ベースラインに匹敵する精度を達成するために,推論モデルのサイズが約50%小さくなることを示す。 シミュレーションの結果,HICをベースとしたトレーニングにより,PCMの耐久限界のごく一部に,デバイスによる書き込みサイクルの回数を自然に確保できることがわかった。
  論文  参考訳（メタデータ） (2021-02-10T05:26:27Z)
• Efficient semidefinite-programming-based inference for binary and multi-class MRFs [83.09715052229782]
  分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。 一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
  論文  参考訳（メタデータ） (2020-12-04T15:36:29Z)
• Federated Bayesian Optimization via Thompson Sampling [33.087439644066876]
  本稿では,FBOとFLの主な課題を原則的に克服するフェデレートトンプソンサンプリング(FTS)を提案する。 通信効率, 計算効率, 実用性能の観点から, FTS の有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-20T09:42:17Z)
• Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic Circuits [99.59941892183454]
  我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。 中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。 本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-13T23:09:15Z)
• Scaling Bayesian inference of mixed multinomial logit models to very large datasets [9.442139459221785]
  本稿では,バックプロパゲーション,自動微分,GPU加速計算を活用するアモルティファイド変分推論手法を提案する。 本研究では, 後部近似の柔軟性を高めるために, フローの正規化がいかに有効かを示す。
  論文  参考訳（メタデータ） (2020-04-11T15:30:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。