論文の概要: Symbolic Regression on FPGAs for Fast Machine Learning Inference
- arxiv url: http://arxiv.org/abs/2305.04099v2
- Date: Wed, 17 Jan 2024 23:18:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 20:44:24.572098
- Title: Symbolic Regression on FPGAs for Fast Machine Learning Inference
- Title（参考訳）: 高速機械学習推論のためのFPGAのシンボリック回帰
- Authors: Ho Fung Tsoi, Adrian Alan Pol, Vladimir Loncar, Ekaterina Govorkova,
Miles Cranmer, Sridhara Dasu, Peter Elmer, Philip Harris, Isobel Ojalvo,
Maurizio Pierini
- Abstract要約: 高エネルギー物理コミュニティは、FPGA(Field-Programmable Gate Arrays)上に機械学習ベースのソリューションをデプロイする可能性を探っている
シンボリックレグレッション(SR)と呼ばれる機械学習技術を利用した新しいエンドツーエンドプロシージャを提案する。
提案手法は,最大で5 nsまでの実行時間を最大13倍に抑えながら,90%以上の近似精度を維持した推論モデルを用いて3層ニューラルネットワークを近似できることを示す。
- 参考スコア（独自算出の注目度）: 2.0920303420933273
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The high-energy physics community is investigating the potential of deploying
machine-learning-based solutions on Field-Programmable Gate Arrays (FPGAs) to
enhance physics sensitivity while still meeting data processing time
constraints. In this contribution, we introduce a novel end-to-end procedure
that utilizes a machine learning technique called symbolic regression (SR). It
searches the equation space to discover algebraic relations approximating a
dataset. We use PySR (a software to uncover these expressions based on an
evolutionary algorithm) and extend the functionality of hls4ml (a package for
machine learning inference in FPGAs) to support PySR-generated expressions for
resource-constrained production environments. Deep learning models often
optimize the top metric by pinning the network size because the vast
hyperparameter space prevents an extensive search for neural architecture.
Conversely, SR selects a set of models on the Pareto front, which allows for
optimizing the performance-resource trade-off directly. By embedding symbolic
forms, our implementation can dramatically reduce the computational resources
needed to perform critical tasks. We validate our method on a physics
benchmark: the multiclass classification of jets produced in simulated
proton-proton collisions at the CERN Large Hadron Collider. We show that our
approach can approximate a 3-layer neural network using an inference model that
achieves up to a 13-fold decrease in execution time, down to 5 ns, while still
preserving more than 90% approximation accuracy.
- Abstract（参考訳）: 高エネルギー物理学コミュニティは、データ処理時間の制約を満たしながら物理感度を高めるために、フィールドプログラマブルゲートアレイ(FPGA)に機械学習ベースのソリューションをデプロイする可能性を調査している。
本稿では,シンボル回帰(SR)と呼ばれる機械学習技術を利用した,新しいエンドツーエンド手法を提案する。
方程式空間を探索し、データセットに近似する代数関係を発見する。
我々は、pysr(進化的アルゴリズムに基づくこれらの式を明らかにするソフトウェア)とhls4ml(fpgaにおける機械学習推論パッケージ)の機能を拡張し、リソース制約のあるプロダクション環境でpysr生成式をサポートする。
ディープラーニングモデルは、膨大なハイパーパラメータ空間がニューラルネットワークアーキテクチャの広範な探索を妨げるため、ネットワークサイズをピン留めすることで、トップメトリックを最適化することが多い。
逆にsrは、paretoフロントで一連のモデルを選択し、パフォーマンス-リソーストレードオフを直接最適化する。
シンボリックな形式を埋め込むことで、重要なタスクを実行するのに必要な計算リソースを劇的に削減できます。
本研究では,CERN大型ハドロン衝突型加速器における陽子-陽子衝突シミュレーションによるジェットのマルチクラス分類を物理ベンチマークで検証した。
提案手法は,最大で5 nsまでの実行時間を最大13倍に抑えながら,90%以上の近似精度を維持した推論モデルを用いて3層ニューラルネットワークを近似できることを示す。
関連論文リスト
- Compressing Recurrent Neural Networks for FPGA-accelerated Implementation in Fluorescence Lifetime Imaging [3.502427552446068]
ディープラーニングモデルはリアルタイム推論を可能にするが、複雑なアーキテクチャと大規模な行列演算のために計算的に要求される。
これにより、フィールドプログラマブルゲートアレイ(FPGA)ベースのカメラハードウェアの直接実装に不適なDLモデルが得られる。
本研究では,FLI時系列データ処理に適したリカレントニューラルネットワーク(RNN)の圧縮に着目し,資源制約付きFPGAボードへの展開を実現する。
論文 参考訳（メタデータ） (2024-10-01T17:23:26Z) - rule4ml: An Open-Source Tool for Resource Utilization and Latency Estimation for ML Models on FPGA [0.0]
本稿では、FPGA上での合成と実装に先立って、ニューラルネットワーク(NN)のリソース利用と推論遅延を予測する新しい手法を提案する。
NNを高レベル合成(HLS)コードに変換するツールフローであるHLS4MLを活用している。
本手法では, 即時前合成予測に適応した回帰モデルを用いる。
論文 参考訳（メタデータ） (2024-08-09T19:35:10Z) - Scaling Studies for Efficient Parameter Search and Parallelism for Large
Language Model Pre-training [2.875838666718042]
並列および分散機械学習アルゴリズムの開発,特に5個のエンコーダデコーダLLMのデータの処理と事前学習の最適化に着目する。
我々は3つのMLメソッド間の関係を定量化するための詳細な研究を行い、特にMicrosoft DeepSpeed Zero Redundancyのステージを探索した。
論文 参考訳（メタデータ） (2023-10-09T02:22:00Z) - Geometry-Informed Neural Operator for Large-Scale 3D PDEs [76.06115572844882]
大規模偏微分方程式の解演算子を学習するために,幾何インフォームド・ニューラル演算子(GINO)を提案する。
我々はGINOを訓練し、わずか500点のデータポイントで車両表面の圧力を予測することに成功した。
論文 参考訳（メタデータ） (2023-09-01T16:59:21Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文 参考訳（メタデータ） (2021-10-08T17:03:34Z) - Local approximate Gaussian process regression for data-driven
constitutive laws: Development and comparison with neural networks [0.0]
局所近似過程回帰を用いて特定のひずみ空間における応力出力を予測する方法を示す。
FE設定におけるグローバル構造問題を解決する場合のlaGPR近似の局所的性質に適応するために、修正されたニュートン・ラフソン手法が提案される。
論文 参考訳（メタデータ） (2021-05-07T14:49:28Z) - PAC-learning gains of Turing machines over circuits and neural networks [1.4502611532302039]
私達は最低記述の長さの原則を持って来ることができるサンプル効率の潜在的な利益を研究します。
我々はチューリングマシンを用いて普遍的なモデルと回路を表現する。
回路の複雑さと密接性における古典的オープン問題との密接な関係を浮き彫りにする。
論文 参考訳（メタデータ） (2021-03-23T17:03:10Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文 参考訳（メタデータ） (2020-07-14T18:50:12Z) - Predictive Coding Approximates Backprop along Arbitrary Computation
Graphs [68.8204255655161]
我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。
私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。
本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
論文 参考訳（メタデータ） (2020-06-07T15:35:47Z) - One-step regression and classification with crosspoint resistive memory
arrays [62.997667081978825]
高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。
ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。
結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
論文 参考訳（メタデータ） (2020-05-05T08:00:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。