論文の概要: Pychop: Emulating Low-Precision Arithmetic in Numerical Methods and Neural Networks
- arxiv url: http://arxiv.org/abs/2504.07835v2
- Date: Fri, 11 Apr 2025 21:00:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-15 10:02:46.902798
- Title: Pychop: Emulating Low-Precision Arithmetic in Numerical Methods and Neural Networks
- Title（参考訳）: Pychop: 数値計算とニューラルネットワークにおける低精度算術シミュレーション
- Authors: Erin Carson, Xinye Chen,
- Abstract要約: 低精度算術は、より効率的な計算とメモリとエネルギー消費の削減を可能にし、ディープラーニングに革命をもたらした。
我々はPychopライブラリを開発し、Pythonでカスタマイズ可能な浮動小数点形式と包括的な丸めモードをサポートする。
本稿では,Pychopの設計,実装,検証,実用化の総合的な解説を行う。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Motivated by the growing demand for low-precision arithmetic in computational science, we exploit lower-precision emulation in Python -- widely regarded as the dominant programming language for numerical analysis and machine learning. Low-precision training has revolutionized deep learning by enabling more efficient computation and reduced memory and energy consumption while maintaining model fidelity. To better enable numerical experimentation with and exploration of low precision computation, we developed the Pychop library, which supports customizable floating-point formats and a comprehensive set of rounding modes in Python, allowing users to benefit from fast, low-precision emulation in numerous applications. Pychop also introduces interfaces for both PyTorch and JAX, enabling efficient low-precision emulation on GPUs for neural network training and inference with unparalleled flexibility. In this paper, we offer a comprehensive exposition of the design, implementation, validation, and practical application of Pychop, establishing it as a foundational tool for advancing efficient mixed-precision algorithms. Furthermore, we present empirical results on low-precision emulation for image classification and object detection using published datasets, illustrating the sensitivity of the use of low precision and offering valuable insights into its impact. Pychop enables in-depth investigations into the effects of numerical precision, facilitates the development of novel hardware accelerators, and integrates seamlessly into existing deep learning workflows. Software and experimental code are publicly available at https://github.com/inEXASCALE/pychop.
- Abstract（参考訳）: 計算科学における低精度算術の需要の高まりにより、Pythonの低精度エミュレーション(数値解析と機械学習における支配的なプログラミング言語として広く認められている)を利用する。
モデルの忠実さを維持しながら、より効率的な計算とメモリとエネルギー消費の削減を可能にすることによって、低精度トレーニングはディープラーニングに革命をもたらした。
Pychopライブラリは,Pythonでカスタマイズ可能な浮動小数点形式と包括的な丸めモードをサポートし,多数のアプリケーションにおいて高速で高精度なエミュレーションの恩恵を受けることができる。
Pychopはまた、PyTorchとJAXの両方のインターフェースを導入し、ニューラルネットワークのトレーニングと非並列の柔軟性を備えた推論のためのGPUの効率的な低精度エミュレーションを可能にした。
本稿では、Pychopの設計、実装、検証、実用化の総合的な説明を行い、効率的な混合精度アルゴリズムを進化させるための基礎的なツールとして確立する。
さらに,画像分類とオブジェクト検出のための低精度エミュレーションに関する実証的な結果を示し,低精度の使用の感度を推定し,その影響について貴重な知見を提供する。
Pychopは数値精度の影響を詳細に調査し、新しいハードウェアアクセラレータの開発を促進し、既存のディープラーニングワークフローにシームレスに統合する。
ソフトウェアおよび実験コードはhttps://github.com/inEXASCALE/pychop.comで公開されている。
関連論文リスト
- Simulation-based inference with the Python Package sbijax [0.7499722271664147]
sbijaxは、ニューラルネットワークベースの推論に様々な最先端のメソッドを実装するPythonパッケージである。
このパッケージはベイズ近似計算の機能を提供し、モデル診断を計算し、自動的に要約統計を推定する。
論文 参考訳（メタデータ） (2024-09-28T18:47:13Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-09T03:55:09Z) - Is Integer Arithmetic Enough for Deep Learning Training? [2.9136421025415205]
浮動小数点演算を低ビット整数演算に置き換えることは、ディープラーニングモデルのエネルギー、メモリフットプリント、レイテンシを節約するための有望なアプローチである。
本稿では,フォワードパス,バックプロパゲーション,勾配降下を含む完全関数型整数学習パイプラインを提案する。
提案手法は, 視覚変換器, オブジェクト検出, セマンティックセグメンテーションなど, 多様なタスクに有効であることを示す。
論文 参考訳（メタデータ） (2022-07-18T22:36:57Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z) - Ps and Qs: Quantization-aware pruning for efficient low latency neural
network inference [56.24109486973292]
超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。
量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
論文 参考訳（メタデータ） (2021-02-22T19:00:05Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳（メタデータ） (2020-07-14T09:07:29Z) - Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。
入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。
実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
論文 参考訳（メタデータ） (2020-06-16T18:43:31Z) - Parsimonious Computing: A Minority Training Regime for Effective
Prediction in Large Microarray Expression Data Sets [20.894226248856313]
本稿では,限られた計算資源に制約された浅いアーキテクチャを用いて,大規模マイクロアレイデータセット上で遺伝子発現推論を行う手法を提案する。
データセットのランダムなサブサンプリング,適応型リプシッツ定数インスパイア学習率,新たなアクティベーション関数,A-ReLUを組み合わせることで,論文で報告された結果の達成に寄与した。
論文 参考訳（メタデータ） (2020-05-18T03:45:05Z) - Regression with Deep Learning for Sensor Performance Optimization [0.0]
我々はKerasとNumPyによって実現されたディープラーニングによる非線形回帰を再適用した。
特に、深層学習を用いて産業センサの入力と出力の非線形関係をパラメータ化する。
論文 参考訳（メタデータ） (2020-02-22T19:58:58Z) - PHOTONAI -- A Python API for Rapid Machine Learning Model Development [2.414341608751139]
PHOTONAIは、機械学習モデル開発の簡素化と高速化を目的とした、ハイレベルなPython APIである。
これは統一フレームワークとして機能し、ユーザーは異なるツールボックスからのアルゴリズムをカスタムのアルゴリズムシーケンスに簡単にアクセスし、組み合わせることができる。
論文 参考訳（メタデータ） (2020-02-13T10:33:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。