論文の概要: How Low Can We Go: Trading Memory for Error in Low-Precision Training
- arxiv url: http://arxiv.org/abs/2106.09686v1
- Date: Thu, 17 Jun 2021 17:38:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-18 16:36:08.548434
- Title: How Low Can We Go: Trading Memory for Error in Low-Precision Training
- Title(参考訳): どれくらい低いのか - 低精度トレーニングにおけるエラーのトレーディングメモリ
- Authors: Chengrun Yang, Ziyang Wu, Jerry Chee, Christopher De Sa, Madeleine
Udell
- Abstract要約: 低精度算術は、少ないエネルギー、少ないメモリ、少ない時間でディープラーニングモデルを訓練する。
私たちは貯金の代償を支払っている: 精度の低い方がラウンドオフエラーが大きくなり、したがって予測エラーが大きくなる可能性がある。
私たちはメタラーニングのアイデアを借りて、メモリとエラーのトレードオフを学びます。
- 参考スコア(独自算出の注目度): 52.94003953419242
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Low-precision arithmetic trains deep learning models using less energy, less
memory and less time. However, we pay a price for the savings: lower precision
may yield larger round-off error and hence larger prediction error. As
applications proliferate, users must choose which precision to use to train a
new model, and chip manufacturers must decide which precisions to manufacture.
We view these precision choices as a hyperparameter tuning problem, and borrow
ideas from meta-learning to learn the tradeoff between memory and error. In
this paper, we introduce Pareto Estimation to Pick the Perfect Precision
(PEPPP). We use matrix factorization to find non-dominated configurations (the
Pareto frontier) with a limited number of network evaluations. For any given
memory budget, the precision that minimizes error is a point on this frontier.
Practitioners can use the frontier to trade memory for error and choose the
best precision for their goals.
- Abstract(参考訳): 低精度算術は、少ないエネルギー、少ないメモリ、少ない時間でディープラーニングモデルを訓練する。
しかし、私たちは貯金の代償を支払っている: 精度が低いとラウンドオフエラーが大きくなり、したがって予測エラーが大きくなる可能性がある。
アプリケーションが成長するにつれて、ユーザは新しいモデルのトレーニングに使用する精度を選択する必要があり、チップメーカーは製造する精度を決定する必要がある。
これらの精度選択をハイパーパラメータチューニング問題として捉え,メモリとエラーのトレードオフを学ぶためにメタラーニングからアイデアを借用する。
本稿では,PEPPP(Pick the Perfect Precision)に対するPareto Estimationを提案する。
ネットワーク評価が限られている非支配的な構成(パレートフロンティア)を見つけるのに行列分解を用いる。
任意のメモリ予算に対して、エラーを最小限にする精度は、このフロンティアのポイントです。
実践者は、フロンティアを使ってメモリをエラーと交換し、目標に対して最適な精度を選択することができます。
関連論文リスト
- Memory Efficient Mixed-Precision Optimizers [4.295034299713293]
混合精度最適化手法は単精度浮動小数点演算と半精度浮動小数点演算の両方を用いる。
実際には、同じレベルの精度を維持しながら、最大25%のメモリ使用率、15%の高速トレーニングを実現しています。
論文 参考訳(メタデータ) (2023-09-21T13:55:29Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of
Language Model [92.55145016562867]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳(メタデータ) (2023-05-24T15:52:08Z) - Training Normalizing Flows with the Precision-Recall Divergence [73.92251251511199]
特定精度リコールトレードオフを達成することは、em PR-divergencesと呼ぶ家族からの-divergencesの最小化に相当することを示す。
本稿では, 正規化フローをトレーニングして, 偏差を最小化し, 特に, 所与の高精度リコールトレードオフを実現する新しい生成モデルを提案する。
論文 参考訳(メタデータ) (2023-02-01T17:46:47Z) - Training with Mixed-Precision Floating-Point Assignments [8.5323697848377]
より少ないメモリを使用する畳み込みニューラルネットワークの精度割当を生成する。
CIFAR-10, CIFAR-100, ImageNet上で, 畳み込みネットワークを訓練し, 画像分類タスクの評価を行った。
論文 参考訳(メタデータ) (2023-01-31T08:01:35Z) - The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。
最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。
我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
論文 参考訳(メタデータ) (2022-12-19T18:48:33Z) - Tight Cram\'{e}r-Rao type bounds for multiparameter quantum metrology
through conic programming [61.98670278625053]
最適な精度で不整合パラメータを推定できる実用的な測定戦略が最重要である。
ここでは、最適精度で非相関な測定方法を見つけるための具体的な方法を示す。
従来の計算可能境界と最終的な精度境界との間には厳密なギャップがあることを数値的に示す。
論文 参考訳(メタデータ) (2022-09-12T13:06:48Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - Towards Explainable Bit Error Tolerance of Resistive RAM-Based Binarized
Neural Networks [7.349786872131006]
抵抗性RAM(RRAM)のような不揮発性メモリは、エネルギー効率が向上するストレージである。
バイナリニューラルネットワーク(BNN)は、精度を損なうことなく、ある種のエラーを許容することができる。
BNNのビットエラー耐性(BET)は、トレーニング中にウェイトサインを反転させることによって達成できる。
論文 参考訳(メタデータ) (2020-02-03T17:38:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。