論文の概要: Symbolic Regression on FPGAs for Fast Machine Learning Inference
- arxiv url: http://arxiv.org/abs/2305.04099v1
- Date: Sat, 6 May 2023 17:04:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-09 17:39:40.982543
- Title: Symbolic Regression on FPGAs for Fast Machine Learning Inference
- Title（参考訳）: 高速機械学習推論のためのFPGAのシンボリック回帰
- Authors: Ho Fung Tsoi, Adrian Alan Pol, Vladimir Loncar, Ekaterina Govorkova,
Miles Cranmer, Sridhara Dasu, Peter Elmer, Philip Harris, Isobel Ojalvo,
Maurizio Pierini
- Abstract要約: シンボリックレグレッション(SR)と呼ばれる機械学習技術を利用した新しいエンドツーエンドプロシージャを提案する。
我々は、PySR(進化アルゴリズムに基づくこれらの表現を明らかにするソフトウェア)を使用し、hls4ml(FPGAにおける機械学習推論のためのパッケージ)の機能を拡張する。
シンボリックフォームを埋め込むことで、重要なタスクを実行するために必要な計算資源を劇的に削減することができる。
- 参考スコア（独自算出の注目度）: 4.525655478048181
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The high-energy physics community is investigating the feasibility of
deploying machine-learning-based solutions on Field-Programmable Gate Arrays
(FPGAs) to improve physics sensitivity while meeting data processing latency
limitations. In this contribution, we introduce a novel end-to-end procedure
that utilizes a machine learning technique called symbolic regression (SR). It
searches equation space to discover algebraic relations approximating a
dataset. We use PySR (software for uncovering these expressions based on
evolutionary algorithm) and extend the functionality of hls4ml (a package for
machine learning inference in FPGAs) to support PySR-generated expressions for
resource-constrained production environments. Deep learning models often
optimise the top metric by pinning the network size because vast hyperparameter
space prevents extensive neural architecture search. Conversely, SR selects a
set of models on the Pareto front, which allows for optimising the
performance-resource tradeoff directly. By embedding symbolic forms, our
implementation can dramatically reduce the computational resources needed to
perform critical tasks. We validate our procedure on a physics benchmark:
multiclass classification of jets produced in simulated proton-proton
collisions at the CERN Large Hadron Collider, and show that we approximate a
3-layer neural network with an inference model that has as low as 5 ns
execution time (a reduction by a factor of 13) and over 90% approximation
accuracy.
- Abstract（参考訳）: 高エネルギー物理学コミュニティは、データ処理のレイテンシの制限を満たしながら物理感度を向上させるために、フィールドプログラマブルゲートアレイ(FPGA)に機械学習ベースのソリューションをデプロイする可能性について調査している。
本稿では,シンボル回帰(SR)と呼ばれる機械学習技術を利用した,新しいエンドツーエンド手法を提案する。
方程式空間を探索し、データセットに近似する代数関係を発見する。
我々は、PySR(進化アルゴリズムに基づくこれらの表現を明らかにするソフトウェア)を使用し、リソース制約された生産環境において、PySR生成式をサポートするためにhls4ml(FPGAにおける機械学習推論のパッケージ)の機能を拡張する。
ディープラーニングモデルは、大規模なハイパーパラメータ空間が広範なニューラルネットワーク探索を妨げるため、ネットワークサイズをピン留めすることで、トップメトリックを最適化することが多い。
逆に、SRはParetoフロントのモデルのセットを選択し、パフォーマンスとリソースのトレードオフを直接最適化することができる。
シンボリックな形式を埋め込むことで、重要なタスクを実行するのに必要な計算リソースを劇的に削減できます。
cernの大型ハドロン衝突型加速器でシミュレーションされた陽子-陽子衝突で生成されたジェットの多種分類を行い,5 ns以下の計算時間(13倍)と90%以上の近似精度を持つ推論モデルを用いて3層ニューラルネットワークを近似することを示した。
関連論文リスト
- Compressing Recurrent Neural Networks for FPGA-accelerated Implementation in Fluorescence Lifetime Imaging [3.502427552446068]
ディープラーニングモデルはリアルタイム推論を可能にするが、複雑なアーキテクチャと大規模な行列演算のために計算的に要求される。
これにより、フィールドプログラマブルゲートアレイ(FPGA)ベースのカメラハードウェアの直接実装に不適なDLモデルが得られる。
本研究では,FLI時系列データ処理に適したリカレントニューラルネットワーク(RNN)の圧縮に着目し,資源制約付きFPGAボードへの展開を実現する。
論文 参考訳（メタデータ） (2024-10-01T17:23:26Z) - rule4ml: An Open-Source Tool for Resource Utilization and Latency Estimation for ML Models on FPGA [0.0]
本稿では、FPGA上での合成と実装に先立って、ニューラルネットワーク(NN)のリソース利用と推論遅延を予測する新しい手法を提案する。
NNを高レベル合成(HLS)コードに変換するツールフローであるHLS4MLを活用している。
本手法では, 即時前合成予測に適応した回帰モデルを用いる。
論文 参考訳（メタデータ） (2024-08-09T19:35:10Z) - Scaling Studies for Efficient Parameter Search and Parallelism for Large
Language Model Pre-training [2.875838666718042]
並列および分散機械学習アルゴリズムの開発,特に5個のエンコーダデコーダLLMのデータの処理と事前学習の最適化に着目する。
我々は3つのMLメソッド間の関係を定量化するための詳細な研究を行い、特にMicrosoft DeepSpeed Zero Redundancyのステージを探索した。
論文 参考訳（メタデータ） (2023-10-09T02:22:00Z) - Geometry-Informed Neural Operator for Large-Scale 3D PDEs [76.06115572844882]
大規模偏微分方程式の解演算子を学習するために,幾何インフォームド・ニューラル演算子(GINO)を提案する。
我々はGINOを訓練し、わずか500点のデータポイントで車両表面の圧力を予測することに成功した。
論文 参考訳（メタデータ） (2023-09-01T16:59:21Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文 参考訳（メタデータ） (2021-10-08T17:03:34Z) - Local approximate Gaussian process regression for data-driven
constitutive laws: Development and comparison with neural networks [0.0]
局所近似過程回帰を用いて特定のひずみ空間における応力出力を予測する方法を示す。
FE設定におけるグローバル構造問題を解決する場合のlaGPR近似の局所的性質に適応するために、修正されたニュートン・ラフソン手法が提案される。
論文 参考訳（メタデータ） (2021-05-07T14:49:28Z) - PAC-learning gains of Turing machines over circuits and neural networks [1.4502611532302039]
私達は最低記述の長さの原則を持って来ることができるサンプル効率の潜在的な利益を研究します。
我々はチューリングマシンを用いて普遍的なモデルと回路を表現する。
回路の複雑さと密接性における古典的オープン問題との密接な関係を浮き彫りにする。
論文 参考訳（メタデータ） (2021-03-23T17:03:10Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文 参考訳（メタデータ） (2020-07-14T18:50:12Z) - Predictive Coding Approximates Backprop along Arbitrary Computation
Graphs [68.8204255655161]
我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。
私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。
本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
論文 参考訳（メタデータ） (2020-06-07T15:35:47Z) - One-step regression and classification with crosspoint resistive memory
arrays [62.997667081978825]
高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。
ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。
結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
論文 参考訳（メタデータ） (2020-05-05T08:00:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。