Fugu-MT 論文翻訳(概要): The Rise of Low Precision Floating Point

論文の概要: The Rise of Low Precision Floating Point

arxiv url: http://arxiv.org/abs/2611.00301v1
Date: Fri, 30 Oct 2026 19:23:40 GMT
ステータス: 情報取得中
システム内更新日: 2026-11-03 20:14:26.054596
Title: The Rise of Low Precision Floating Point
Title（参考訳）: 低精度浮動小数点の上昇
Abstract要約: 浮動小数点計算は1950年代から科学計算を支配してきた。深層学習が主流となり、より少ない精度と少ない範囲の浮動小数点形式が徐々に一般的になっている。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Floating point computing has dominated scientific computations since the 1950s because of its versatile ability to approximate real numbers with both sufficiently high precision and sufficiently great range. Since 1985, two specific formats have become standard across the industry, one with 32 bits which is adequate for many purposes and one with 64 bits which allows numbers with both much higher precision and much greater range for applications where these are needed. However, during the past decade, deep learning has come to dominate computation, and narrower floating point formats with lower precision and reduced range have steadily become more common. In this article we discuss this phenomenon, why it is happening, how various 16-bit, 8-bit and even 4-bit floating point formats have been developed, and efforts to standardize these formats.
Abstract（参考訳）: 浮動小数点演算は1950年代から科学計算を支配してきた。 1985年以降、業界全体で2つの特定のフォーマットが標準化され、1つは32ビットで、多くの目的に適しており、もう1つは64ビットで、より精度が高く、より広い範囲のアプリケーションに使えるようになった。しかし、この10年間で、ディープラーニングが計算を支配し、より少ない精度と少ない範囲の浮動小数点形式が徐々に一般的になっている。本稿では,16ビット,8ビット,さらには4ビットの浮動小数点フォーマットが開発され,これらのフォーマットを標準化する取り組みについて述べる。

関連論文リスト

INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。 FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
論文参考訳（メタデータ） (2025-10-29T15:11:53Z)
Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference [31.2331188304598]
評価バッチサイズ、GPUカウント、GPUバージョンなどのシステム構成の変更は、生成されたレスポンスに大きな違いをもたらす可能性がある。この変数の根本原因は、限定的な数値精度で浮動小数点算術の非連想性に遡る。そこで我々は16ビットの精度で重みを格納するが、FP32では全ての計算を実行する軽量な推論パイプラインLayerCastを開発した。
論文参考訳（メタデータ） (2025-06-11T08:23:53Z)
Positional Description Matters for Transformers Arithmetic [58.4739272381373]
トランスフォーマーは、大きな能力にもかかわらず、算術的なタスクに干渉することが多い。位置エンコーディングを直接修正するか、あるいは算術タスクの表現を変更して、標準的な位置エンコーディングを異なる方法で活用することで、問題を解決する方法をいくつか提案する。
論文参考訳（メタデータ） (2023-11-22T00:31:01Z)
Compressed Real Numbers for AI: a case-study using a RISC-V CPU [2.0516276923852415]
我々は、機械学習アプリケーションにおいて、バイナリ32数値を圧縮する興味深い結果を得た2種類のフォーマットに焦点を当てる。本稿では,計算直前に浮動小数点のテンソルを分解する方法を提案する。
論文参考訳（メタデータ） (2023-09-11T07:54:28Z)
Revisiting 16-bit Neural Network Training: A Practical Approach for Resource-Limited Learning [2.075190620803526]
混合精度技術は、モデルトレーニングと推論の間に異なる数値精度を活用し、資源利用を最適化する。リソースが限られている多くの人にとって、利用可能なオプションは32ビット、16ビット、または2つの組み合わせに限られている。この研究は重要なギャップを埋め、スタンドアロンの16ビット精度のニューラルネットワークが32ビットと混合精度の精度で一致したことを初めて証明した。
論文参考訳（メタデータ） (2023-05-18T13:09:45Z)
The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
論文参考訳（メタデータ） (2022-12-19T18:48:33Z)
Quantum computation on a 19-qubit wide 2d nearest neighbour qubit array [59.24209911146749]
本稿では,1次元に制約された量子ビット格子の幅と物理閾値の関係について検討する。我々は、表面コードを用いた最小レベルのエンコーディングでエラーバイアスを設計する。このバイアスを格子サージャリングサーフェスコードバスを用いて高レベルなエンコーディングで処理する。
論文参考訳（メタデータ） (2022-12-03T06:16:07Z)
FP8 Formats for Deep Learning [49.54015320992368]
2つのエンコーディングからなる8ビット浮動小数点(FP8)バイナリインターチェンジフォーマットを提案する。 E4M3のダイナミックレンジは無限大を表現せず、NaNに対して1つのマティーサビットパターンしか持たないことによって拡張される。 16ビットのトレーニングセッションで達成した結果の質を効果的にマッチングし,FP8フォーマットが様々な画像および言語タスクに対して有効であることを示す。
論文参考訳（メタデータ） (2022-09-12T17:39:55Z)
Representation range needs for 16-bit neural network training [2.2657486535885094]
浮動小数点演算では指数ビット数の変化に伴い精度と表現範囲のトレードオフが存在する。我々は6ビットの指数と9ビットの明示的なマンティッサという1/6/9フォーマットを提案する。 1/6/9混合精度トレーニングは,非正規動作の性能低下を引き起こすハードウェア上でのトレーニングを高速化できることを示す。
論文参考訳（メタデータ） (2021-03-29T20:30:02Z)
EFloat: Entropy-coded Floating Point Format for Deep Learning [2.3204178451683264]
EFloatフォーマットは、平均指数フィールド幅を最小限に抑えるために、Huffman符号で頻繁な指数値を符号化する。提案した符号化概念は、8ビットフロートを含む低精度フォーマットに有用かもしれない。
論文参考訳（メタデータ） (2021-02-04T15:58:01Z)
Revisiting BFloat16 Training [30.99618783594963]
最先端の汎用的低精度トレーニングアルゴリズムでは、16ビットと32ビットの精度が混在している。ディープラーニングアクセラレータは、16ビットと32ビットの浮動小数点ユニットの両方をサポートせざるを得ない。
論文参考訳（メタデータ） (2020-10-13T05:38:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。