論文の概要: Hardware-efficient tractable probabilistic inference for TinyML Neurosymbolic AI applications
- arxiv url: http://arxiv.org/abs/2507.05141v1
- Date: Mon, 07 Jul 2025 15:51:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-08 15:46:35.496014
- Title: Hardware-efficient tractable probabilistic inference for TinyML Neurosymbolic AI applications
- Title（参考訳）: TinyMLニューロシンボリックAI応用のためのハードウェア効率の良いトラクタブル確率推論
- Authors: Jelin Leslin, Martin Trapp, Martin Andraud,
- Abstract要約: ニューロシンボリックAI(NSAI)は、最近、ディープラーニング(DL)モデルに関連する制限を軽減するために登場した。
TinyMLハードウェアは、組み込みシナリオにNSAIをもたらすために、これらの象徴的なモデルをサポートする必要がある。
NSAIをTinyMLハードウェアで計算するための完全なフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 2.435439379777405
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neurosymbolic AI (NSAI) has recently emerged to mitigate limitations associated with deep learning (DL) models, e.g. quantifying their uncertainty or reason with explicit rules. Hence, TinyML hardware will need to support these symbolic models to bring NSAI to embedded scenarios. Yet, although symbolic models are typically compact, their sparsity and computation resolution contrasts with low-resolution and dense neuro models, which is a challenge on resource-constrained TinyML hardware severely limiting the size of symbolic models that can be computed. In this work, we remove this bottleneck leveraging a tight hardware/software integration to present a complete framework to compute NSAI with TinyML hardware. We focus on symbolic models realized with tractable probabilistic circuits (PCs), a popular subclass of probabilistic models for hardware integration. This framework: (1) trains a specific class of hardware-efficient \emph{deterministic} PCs, chosen for the symbolic task; (2) \emph{compresses} this PC until it can be computed on TinyML hardware with minimal accuracy degradation, using our $n^{th}$-root compression technique, and (3) \emph{deploys} the complete NSAI model on TinyML hardware. Compared to a 64b precision baseline necessary for the PC without compression, our workflow leads to significant hardware reduction on FPGA (up to 82.3\% in FF, 52.6\% in LUTs, and 18.0\% in Flash usage) and an average inference speedup of 4.67x on ESP32 microcontroller.
- Abstract（参考訳）: ニューロシンボリックAI(NSAI)は、最近、ディープラーニング(DL)モデルに関連する制限を緩和するために出現した。
そのため、TinyMLハードウェアは、組み込みシナリオにNSAIをもたらすために、これらの象徴的なモデルをサポートする必要がある。
しかし、シンボリックモデルは典型的にはコンパクトであるが、その空間性や計算解像度は低解像度で高密度のニューロモデルと対照的であり、リソース制約のあるTinyMLハードウェアでは計算可能なシンボリックモデルのサイズを著しく制限する。
本研究では,タイトなハードウェア/ソフトウェアの統合を活用して,TinyMLハードウェアでNSAIを計算するための完全なフレームワークを提案することで,このボトルネックを解消する。
ハードウェア統合のための確率モデルのサブクラスであるトラクタブル確率回路(PC)で実現されたシンボルモデルに焦点をあてる。
このフレームワークは、(1) シンボリックタスクのために選択された特定のハードウェア効率の \emph{deterministic} PC のクラスをトレーニングし、(2) \emph{compresses} このPCは、最小限の精度でTinyMLハードウェア上で計算できるまで、我々の$n^{th}$-root圧縮技術を使用し、(3) \emph{deploys} はTinyMLハードウェア上の完全なNSAIモデルを使用する。
圧縮のないPCに必要な64bの精度ベースラインと比較して、我々のワークフローはFPGAのハードウェアの大幅な削減(FFで82.3倍、LUTで52.6倍、Flashで18.0倍)、ESP32マイクロコントローラでの平均推論速度は4.67倍になる。
関連論文リスト
- Running Conventional Automatic Speech Recognition on Memristor Hardware: A Simulated Approach [18.47703842449581]
数百万のパラメータを持つMLシステムがmemristorハードウェア上でどのように振る舞うかを示す。
我々は,3ビット重み精度を用いて線形演算を行う場合,単語誤り率の相対劣化を25%に制限する。
論文 参考訳（メタデータ） (2025-05-30T15:42:41Z) - Analog Foundation Models [6.589590906512612]
アナログインメモリコンピューティング(AIMC)は、ニューラルネットワーク計算の速度と電力効率を改善するための有望な計算パラダイムである。
AIMCは、ノイズ計算や入力と量子化に関する厳密な推論といった基本的な課題を導入している。
低精度アナログハードウェア上で堅牢な適応と実行を実現するための,汎用的なスケーラブルな手法を提案する。
論文 参考訳（メタデータ） (2025-05-14T14:52:22Z) - 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float [71.43026659686679]
大規模言語モデル(LLM)は急速に規模を拡大し、リソース制約のあるハードウェアに効率的なデプロイを行う上での課題を生み出している。
圧縮フレームワークであるDynamic-Length Float (DFloat11)を導入し、LLMのサイズを30%削減し、元のモデルと同じビット対ビットの出力を保存する。
論文 参考訳（メタデータ） (2025-04-15T22:38:38Z) - LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。
本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。
この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
論文 参考訳（メタデータ） (2024-05-09T11:49:05Z) - Enhancing Neural Architecture Search with Multiple Hardware Constraints
for Deep Learning Model Deployment on Tiny IoT Devices [17.919425885740793]
微分可能なNAS最適化手法に複数の制約を組み込む新しい手法を提案する。
単一の検索で、それぞれ87.4%と54.2%のメモリとレイテンシを削減できることが示されている。
論文 参考訳（メタデータ） (2023-10-11T06:09:14Z) - DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures
using Lookup Tables [49.965024476651706]
DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。
実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
論文 参考訳（メタデータ） (2023-04-18T15:13:10Z) - TinyReptile: TinyML with Federated Meta-Learning [9.618821589196624]
メタラーニングとオンラインラーニングにインスパイアされた,シンプルだが効率的なアルゴリズムであるTinyReptileを提案する。
Raspberry Pi 4とCortex-M4 MCUで256KBのRAMでTinyReptileをデモした。
論文 参考訳（メタデータ） (2023-04-11T13:11:10Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - A TinyML Platform for On-Device Continual Learning with Quantized Latent
Replays [66.62377866022221]
Latent Replay-based Continual Learning (CL)技術は、原則としてオンライン、サーバレスの適応を可能にする。
10コアのFP32対応並列超低消費電力プロセッサをベースとした,エンドツーエンドCLのためのHW/SWプラットフォームを提案する。
これらの手法を組み合わせることで,64MB未満のメモリを用いて連続学習を実現することができることを示す。
論文 参考訳（メタデータ） (2021-10-20T11:01:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。