Fugu-MT 論文翻訳(概要): A Metric Driven Approach to Mixed Precision Training

論文の概要: A Metric Driven Approach to Mixed Precision Training

arxiv url: http://arxiv.org/abs/2408.02897v1
Date: Tue, 6 Aug 2024 02:06:04 GMT
ステータス: 処理完了
システム内更新日: 2024-08-07 15:19:13.592603
Title: A Metric Driven Approach to Mixed Precision Training
Title（参考訳）: 混合精密訓練における計量駆動的アプローチ
Authors: Mitchelle Rasquinha, Gil Tabak,
Abstract要約: 数値の選択を支援するための計量駆動手法を同定する。このような方法論が言語表現モデルのスケールトレーニングにどのように役立つかを実証する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: As deep learning methodologies have developed, it has been generally agreed that increasing neural network size improves model quality. However, this is at the expense of memory and compute requirements, which also need to be increased. Various efficiency techniques have been proposed to rein in hardware costs, one being the use of low precision numerics. Recent accelerators have introduced several different 8-bit data types to help accommodate DNNs in terms of numerics. In this paper, we identify a metric driven methodology to aid in the choice of numerics. We demonstrate how such a methodology can help scale training of a language representation model. The technique can be generalized to other model architectures.
Abstract（参考訳）: ディープラーニングの方法論が発展するにつれて、ニューラルネットワークのサイズの増加がモデルの品質を向上させることが一般的に合意されている。しかし、これはメモリと計算の要求を犠牲にしており、その必要も増す必要がある。ハードウェアコストを抑えるために様々な効率性技術が提案されている。最近のアクセラレーターは、数値の観点からDNNに対応するために、いくつかの異なる8ビットデータ型を導入している。本稿では,数値の選択を支援するための計量駆動手法を同定する。このような方法論が言語表現モデルのスケールトレーニングにどのように役立つかを実証する。この技術は他のモデルアーキテクチャにも応用できる。

関連論文リスト

Transferable Post-training via Inverse Value Learning [83.75002867411263]
別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
論文参考訳（メタデータ） (2024-10-28T13:48:43Z)
Gradient-Free Neural Network Training on the Edge [12.472204825917629]
ニューラルネットワークのトレーニングは計算的に重く、エネルギー集約的である。この研究は、勾配を必要とせずにニューラルネットワークをトレーニングするための新しいテクニックを提示している。本研究では,各ニューロンの予測された分類に対する誤った寄与を同定することにより,勾配に基づく最適化手法を使わずにモデルを訓練することが可能であることを示す。
論文参考訳（メタデータ） (2024-10-13T05:38:39Z)
Incrementally-Computable Neural Networks: Efficient Inference for Dynamic Inputs [75.40636935415601]
ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-07-27T16:30:27Z)
8-bit Numerical Formats for Deep Neural Networks [1.304892050913381]
本研究では,8ビット浮動小数点数形式を用いて,トレーニングと推論の両方にアクティベーション,重み,勾配を求める。実験により、これらの低精度フォーマットの適切な選択は、画像分類と言語処理のための様々なディープラーニングモデルに対して、精度を劣化させることなく、高速なトレーニングと消費電力削減を可能にすることが示された。
論文参考訳（メタデータ） (2022-06-06T21:31:32Z)
Survey on Large Scale Neural Network Training [48.424512364338746]
現代のディープニューラルネットワーク(DNN)は、トレーニング中にウェイト、アクティベーション、その他の中間テンソルを保存するためにかなりのメモリを必要とする。この調査は、より効率的なDNNトレーニングを可能にするアプローチの体系的な概要を提供する。
論文参考訳（メタデータ） (2022-02-21T18:48:02Z)
Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers [67.688697838109]
本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。 2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
論文参考訳（メタデータ） (2021-11-29T09:30:06Z)
Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文参考訳（メタデータ） (2021-09-09T12:32:28Z)
ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文参考訳（メタデータ） (2021-04-11T12:14:04Z)
Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation [4.638764944415326]
量子化技術は、ディープニューラルネットワークのサイズを小さくし、推論レイテンシとスループットを改善する。本稿では,高スループット整数演算パイプラインを持つプロセッサによる高速化に寄与する量子化技術に着目する。本研究では,全ネットワークにおいて,浮動小数点ベースラインの1%以内の精度を維持できる8ビット量子化のワークフローを提案する。
論文参考訳（メタデータ） (2020-04-20T19:59:22Z)
Shifted and Squeezed 8-bit Floating Point format for Low-Precision Training of Deep Neural Networks [13.929168096016957]
本研究では,8ビット浮動小数点(FP8)数を用いたディープニューラルネットワークのトレーニング手法を提案する。ビット精度の低減により、有効メモリが大きくなり、計算速度が向上する。提案手法は,従来の8ビット精度訓練法と異なり,代表モデルに対して最初から動作可能であることを示す。
論文参考訳（メタデータ） (2020-01-16T06:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。