論文の概要: A Framework for Semi-Automatic Precision and Accuracy Analysis for Fast and Rigorous Deep Learning

• arxiv url: http://arxiv.org/abs/2002.03869v1
• Date: Mon, 10 Feb 2020 15:33:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 09:18:57.504079
• Title: A Framework for Semi-Automatic Precision and Accuracy Analysis for Fast and Rigorous Deep Learning
• Title（参考訳）: 高速・厳密な深層学習のための半自動的精度・高精度解析の枠組み
• Authors: Christoph Lauter and Anastasia Volkova
• Abstract要約: 多くの論文は、ディープニューラルネットワーク(DNN)が驚くほど低い精度で正常に動作可能であることを実験的に観察している。 本論文は、DNNのFP精度が低いFP精度のために高いままである理由について、理論的光を当てる。 ディープラーニングの推論フェーズにおけるFPエラー解析のためのソフトウェアフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 1.5863809575305419
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Networks (DNN) represent a performance-hungry application. Floating-Point (FP) and custom floating-point-like arithmetic satisfies this hunger. While there is need for speed, inference in DNNs does not seem to have any need for precision. Many papers experimentally observe that DNNs can successfully run at almost ridiculously low precision. The aim of this paper is two-fold: first, to shed some theoretical light upon why a DNN's FP accuracy stays high for low FP precision. We observe that the loss of relative accuracy in the convolutional steps is recovered by the activation layers, which are extremely well-conditioned. We give an interpretation for the link between precision and accuracy in DNNs. Second, the paper presents a software framework for semi-automatic FP error analysis for the inference phase of deep-learning. Compatible with common Tensorflow/Keras models, it leverages the frugally-deep Python/C++ library to transform a neural network into C++ code in order to analyze the network's need for precision. This rigorous analysis is based on Interval and Affine arithmetics to compute absolute and relative error bounds for a DNN. We demonstrate our tool with several examples.
• Abstract（参考訳）: Deep Neural Networks (DNN) はパフォーマンス向上のためのアプリケーションである。 浮動小数点演算(fp)とカスタム浮動小数点演算はこの空腹を満たす。 速度は必要とされているが、DNNの推論は正確さを必要としないようだ。 多くの論文は、DNNが驚くほど低い精度で正常に動作可能であることを実験的に観察している。 本論文の目的は、まず、DNNのFP精度が低いFP精度のために高いままである理由について、理論的な光を流すことである。 畳み込みステップにおける相対的精度の損失は、非常によく条件づけられた活性化層によって回復される。 DNNにおける精度と精度の関係を解釈する。 第2に,ディープラーニングの推論フェーズにおける半自動FPエラー解析のためのソフトウェアフレームワークを提案する。 一般的なtensorflow/kerasモデルと互換性があり、frugally-deep python/c++ライブラリを使用して、ニューラルネットワークをc++コードに変換し、ネットワークの精度のニーズを分析する。 この厳密な解析は、dnnの絶対および相対誤差境界を計算するための区間とアフィン演算に基づいている。 私たちはいくつかの例でツールを示します。

関連論文リスト

• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Automated machine learning for borehole resistivity measurements [0.0]
  ディープニューラルネットワーク(DNN)は、ボアホール比抵抗測定の反転のためのリアルタイムソリューションを提供する。 非常に大きなDNNを使って演算子を近似することができるが、かなりの訓練時間を必要とする。 本研究では,DNNの精度とサイズを考慮したスコアリング機能を提案する。
  論文  参考訳（メタデータ） (2022-07-20T12:27:22Z)
• OMPQ: Orthogonal Mixed Precision Quantization [64.59700856607017]
  混合精度量子化は、ハードウェアの多重ビット幅演算を利用して、ネットワーク量子化の全ポテンシャルを解き放つ。 本稿では、整数プログラミングの損失と高い相関関係にあるネットワーク性の概念であるプロキシメトリックを最適化することを提案する。 このアプローチは、量子化精度にほとんど妥協することなく、検索時間と必要なデータ量を桁違いに削減する。
  論文  参考訳（メタデータ） (2021-09-16T10:59:33Z)
• Development of Quantized DNN Library for Exact Hardware Emulation [0.17188280334580192]
  量子化は、AIチップのようなエッジデバイス上でDeep Neural Network(DNN)を実行する際の実行時間を短縮し、電力を節約するために使用される。 我々は、ハードウェアと全く同じ振る舞いで量子化されたDNNを実行するライブラリであるPyParchを開発した。
  論文  参考訳（メタデータ） (2021-06-15T17:42:40Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• Compressing deep neural networks on FPGAs to binary and ternary precision with HLS4ML [13.325670094073383]
  本稿では, hls4mlライブラリにおける2次ニューラルネットワークと3次ニューラルネットワークの実装について述べる。 モデル精度と資源消費のトレードオフについて論じる。 二分法と三分法の実装は、FPGAリソースを劇的に減らしながら高い精度の実装と類似した性能を持つ。
  論文  参考訳（メタデータ） (2020-03-11T10:46:51Z)
• Precision Gating: Improving Neural Network Efficiency with Dynamic Dual-Precision Activations [22.71924873981158]
  PG(Precision Gating)は、ディープニューラルネットワークのためのエンドツーエンドのトレーニング可能な動的二重精度量子化技術である。 PGは、ShuffleNetのような静的に圧縮されたモバイルフレンドリーなネットワークを含むCNNで優れた結果を得る。 8ビットの均一量子化と比較すると、PGは1ワードあたりのパープレキシティが1.2%向上し、LSTMの計算コストは2.7$timesである。
  論文  参考訳（メタデータ） (2020-02-17T18:54:37Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。