Fugu-MT 論文翻訳(概要): Reduced Precision Strategies for Deep Learning: A High Energy Physics Generative Adversarial Network Use Case

論文の概要: Reduced Precision Strategies for Deep Learning: A High Energy Physics Generative Adversarial Network Use Case

arxiv url: http://arxiv.org/abs/2103.10142v1
Date: Thu, 18 Mar 2021 10:20:23 GMT
ステータス: 処理完了
システム内更新日: 2021-03-20 00:45:11.679946
Title: Reduced Precision Strategies for Deep Learning: A High Energy Physics Generative Adversarial Network Use Case
Title（参考訳）: ディープラーニングのための高精度戦略の削減:高エネルギー物理生成逆ネットワーク利用事例
Authors: Florian Rehm, Sofia Vallecorsa, Vikram Saletore, Hans Pabst, Adel Chaibi, Valeriu Codreanu, Kerstin Borras, Dirk Kr\"ucker
Abstract要約: ディープラーニングをより効率的にするための有望なアプローチは、ニューラルネットワークのパラメータを量子化し、精度を下げることである。本稿では,複雑な深層生成型逆ネットワークモデルに対する低精度推論の効果を解析する。
参考スコア（独自算出の注目度）: 0.19788841311033123
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep learning is finding its way into high energy physics by replacing traditional Monte Carlo simulations. However, deep learning still requires an excessive amount of computational resources. A promising approach to make deep learning more efficient is to quantize the parameters of the neural networks to reduced precision. Reduced precision computing is extensively used in modern deep learning and results to lower execution inference time, smaller memory footprint and less memory bandwidth. In this paper we analyse the effects of low precision inference on a complex deep generative adversarial network model. The use case which we are addressing is calorimeter detector simulations of subatomic particle interactions in accelerator based high energy physics. We employ the novel Intel low precision optimization tool (iLoT) for quantization and compare the results to the quantized model from TensorFlow Lite. In the performance benchmark we gain a speed-up of 1.73x on Intel hardware for the quantized iLoT model compared to the initial, not quantized, model. With different physics-inspired self-developed metrics, we validate that the quantized iLoT model shows a lower loss of physical accuracy in comparison to the TensorFlow Lite model.
Abstract（参考訳）: ディープラーニングは、従来のモンテカルロシミュレーションを置き換えることで、高エネルギー物理学への道を見出している。しかし、ディープラーニングは依然として過剰な計算資源を必要とする。ディープラーニングをより効率的にするための有望なアプローチは、ニューラルネットワークのパラメータを量子化し、精度を下げることである。精密コンピューティングの削減は、現代のディープラーニングで広く使われ、結果として、実行時間の短縮、メモリフットプリントの削減、メモリ帯域幅の削減に繋がる。本稿では,複雑な深層生成型逆ネットワークモデルに対する低精度推論の効果を解析する。私たちが取り組んでいるユースケースは、加速器ベースの高エネルギー物理学におけるサブアトミック粒子相互作用のカロリメータ検出器シミュレーションです。我々は、新しい低精度最適化ツールiLoTを用いて量子化を行い、その結果をTensorFlow Liteの量子化モデルと比較する。パフォーマンスベンチマークでは、量子化ilotモデルのintelハードウェアでは、最初の量子化ではなく、初期モデルと比較して、133倍のスピードアップが得られます。物理にインスパイアされた様々な自己発達メトリクスを用いて、量子化されたiLoTモデルがTensorFlow Liteモデルと比較して物理精度の損失が低いことを検証した。

関連論文リスト

Optimizing Dense Feed-Forward Neural Networks [0.0]
本稿では,プルーニングと移動学習に基づくフィードフォワードニューラルネットワークの構築手法を提案する。提案手法では,パラメータ数を70%以上圧縮できる。また、ニューラルネットワークをスクラッチからトレーニングしたモデルと元のモデルを比較し、トランスファー学習レベルを評価した。
論文参考訳（メタデータ） (2023-12-16T23:23:16Z)
Gradual Optimization Learning for Conformational Energy Minimization [69.36925478047682]
ニューラルネットワークによるエネルギー最小化のためのGradual Optimization Learning Framework(GOLF)は、必要な追加データを大幅に削減する。 GOLFでトレーニングしたニューラルネットワークは,種々の薬物様分子のベンチマークにおいて,オラクルと同等に動作することを示す。
論文参考訳（メタデータ） (2023-11-05T11:48:08Z)
Towards provably efficient quantum algorithms for large-scale machine-learning models [11.440134080370811]
我々は、フォールトトレラントな量子コンピューティングが、一般的な(確率的な)勾配降下アルゴリズムに対して、証明可能な効率のよい解決を提供する可能性を示している。 700万から1億3300万のパラメータから、大規模な機械学習モデルのインスタンスをベンチマークします。
論文参考訳（メタデータ） (2023-03-06T19:00:27Z)
Human Trajectory Prediction via Neural Social Physics [63.62824628085961]
軌道予測は多くの分野において広く研究され、多くのモデルベースおよびモデルフリーな手法が研究されている。ニューラル微分方程式モデルに基づく新しい手法を提案する。我々の新しいモデル(ニューラル社会物理学またはNSP)は、学習可能なパラメータを持つ明示的な物理モデルを使用するディープニューラルネットワークである。
論文参考訳（メタデータ） (2022-07-21T12:11:18Z)
LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文参考訳（メタデータ） (2021-10-08T17:03:34Z)
FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文参考訳（メタデータ） (2021-03-08T03:09:37Z)
ForceNet: A Graph Neural Network for Large-Scale Quantum Calculations [86.41674945012369]
スケーラブルで表現力のあるグラフニューラルネットワークモデルであるForceNetを開発し、原子力を近似します。提案したForceNetは、最先端の物理ベースのGNNよりも正確に原子力を予測することができる。
論文参考訳（メタデータ） (2021-03-02T03:09:06Z)
Ps and Qs: Quantization-aware pruning for efficient low latency neural network inference [56.24109486973292]
超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
論文参考訳（メタデータ） (2021-02-22T19:00:05Z)
Training Deep Neural Networks with Constrained Learning Parameters [4.917317902787792]
ディープラーニングタスクのかなりの部分はエッジコンピューティングシステムで実行される。我々は, Combinatorial Neural Network Training Algorithm (CNNTrA)を提案する。 CoNNTrAは、MNIST、Iris、ImageNetデータセット上で、第三次学習パラメータでディープラーニングモデルをトレーニングする。以上の結果から,CNNTrAモデルはメモリを32倍に削減し,バックプロパゲーションモデルと同程度の誤差を有することがわかった。
論文参考訳（メタデータ） (2020-09-01T16:20:11Z)
Automatic heterogeneous quantization of deep neural networks for low-latency inference on the edge for particle detectors [5.609098985493794]
我々は,チップ上での最小エネルギー,高精度,ナノ秒の推論,完全自動展開のための,深層ニューラルネットワークモデルの最適ヘテロジニゼーションバージョンを設計する手法を提案する。これはCERN大型ハドロン衝突型加速器における陽子-陽子衝突におけるイベント選択の手順に不可欠であり、リソースは厳密に制限され、$mathcal O(1)mu$sのレイテンシが要求される。
論文参考訳（メタデータ） (2020-06-15T15:07:49Z)
Fast Modeling and Understanding Fluid Dynamics Systems with Encoder-Decoder Networks [0.0]
本研究では,有限体積シミュレータを用いて,高精度な深層学習に基づくプロキシモデルを効率的に教えることができることを示す。従来のシミュレーションと比較して、提案したディープラーニングアプローチはより高速なフォワード計算を可能にする。深層学習モデルの重要物理パラメータに対する感度を定量化することにより、インバージョン問題を大きな加速で解くことができることを示す。
論文参考訳（メタデータ） (2020-06-09T17:14:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。