論文の概要: CurveFP: Co-Designing Numerical Representation and Product Arithmetic for Language Models
- arxiv url: http://arxiv.org/abs/2608.10010v2
- Date: Wed, 12 Aug 2026 03:58:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 14:28:20.524082
- Title: CurveFP: Co-Designing Numerical Representation and Product Arithmetic for Language Models
- Title（参考訳）: CurveFP:言語モデルのための数値表現と積算術の共設計
- Abstract要約: ブロックスケールのファミリーであるCurveFPを導入する。
代数をトレーニング用CurveFP8 E4C3/E5C2、コンパクト推論用CurveFP7 E3C3としてインスタンス化する。
4つの7B-9Bモデルにおいて、CurveFP7は1ビット未満の要素ビットでテンソルワイズFP8パープレキシティを上回り、ネイティブ品質の1.32%以内に留まる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Low-precision formats usually optimize scalar fidelity while inheriting conventional product arithmetic. We introduce CurveFP, a block-scaled family that distributes magnitudes across interleaved logarithmic curves. Uniform curve indices make every nonzero product an exact sign and integer-index update, while a rational radix exposes the finite phase schedule required for accumulation. We instantiate the algebra as CurveFP8 E4C3/E5C2 for training and CurveFP7 E3C3 for compact inference. On four 7B-9B models, CurveFP7 beats tensorwise FP8 perplexity with one fewer element bit and stays within 1.32% of native quality. CurveFP8 lowers error in all 36 paired training-GEMM comparisons. Across three matched 3B-token pretraining triplets, it reaches mean BF16-inference perplexity 22.5366 versus 22.5407 for FP8 and has a lower format penalty in every seed. Downstream evaluation shows transfer parity and a consistent WikiText-103 gain. In a preliminary 4x4 Nangate45 spatial accelerator tile, CurveFP8 uses one fewer product register and 4.6% less area than timing-closing FP8 at 500 MHz. These results support CurveFP as a numerical and arithmetic co-design, while leaving system-level efficiency to future study.
- Abstract（参考訳）: 低精度のフォーマットは通常、従来の積算術を継承しながらスカラー忠実度を最適化する。
ブロックスケールのファミリーであるCurveFPを導入する。
一様曲線の指標はすべての非零積に正確な符号と整数-インデックスの更新を与え、一方有理ラディクスは蓄積に必要な有限位相スケジュールを公開する。
代数をトレーニング用CurveFP8 E4C3/E5C2、コンパクト推論用CurveFP7 E3C3としてインスタンス化する。
4つの7B-9Bモデルにおいて、CurveFP7は1ビット未満の要素ビットでテンソルワイズFP8パープレキシティを上回り、ネイティブ品質の1.32%以内に留まる。
CurveFP8は36対のトレーニング-GEMMの比較でエラーを下げる。
3つのマッチした3B-tokenプリトレーニング三重項のうち、平均BF16-inference perplexity 22.5366、FP8は22.5407に到達し、各種においてより低いフォーマットのペナルティを有する。
ダウンストリーム評価は、転送パリティと一貫したWikiText-103ゲインを示している。
予備の4x4 Nangate45空間加速タイルでは、CurveFP8は製品レジスタを1つ減らし、500MHzのタイミングでFP8をクローズする面積を4.6%削減した。
これらの結果はCurveFPを数値と算術の共設計としてサポートし、システムレベルの効率性は今後の研究に任せる。
関連論文リスト
- CubicQuant: Parametric Non-Uniform Codebooks for High-Throughput LLM Inference with 1-8-Bit Weights [0.0]
大規模言語モデル推論のための非一様パラメトリックな非一様スカラー形式であるCuubicQuantを紹介する。
我々は、Uniform, Gaussian, Laplace分布下での個体群歪みを導出し、連続および動的A8キャリヤ対応の目的を定式化し、直接充填重量GPUの実行を記述する。
プリミティブなH200カーネル測定は、ワークロード依存のクロスオーバーを示している: モデル-dtype実行は、狭いGEMVで高速であるのに対して、動的A8は、行数が増えるにつれて好まれる。
論文 参考訳（メタデータ） (2026-08-07T03:36:07Z) - Characterizing the Impact of NVFP4 Quantization for Low-Power Edge AI Deployment [9.460818703756205]
エッジでのエネルギー効率のよいニューラルネットワーク推論では、演算コスト、メモリトラフィック、エネルギ、ストレージオーバーヘッドを削減し、許容できる精度を維持する必要がある。
本稿では,エッジ効率ニューラルネットワークにおけるNVFP4量子化のアブレーションに着目した研究を行う。
論文 参考訳（メタデータ） (2026-06-03T03:09:59Z) - The Illusion of Equivalence: Systematic FP16 Divergence in KV-Cached Autoregressive Inference [2.954681536906518]
KVキャッシングは自己回帰変換器推論におけるユビキタス最適化である。
FP16 KVキャッシュ推論は基本的に再計算と等価ではないことを示す。
論文 参考訳（メタデータ） (2026-04-16T15:59:40Z) - Forge-UGC: FX optimization and register-graph engine for universal graph compiler [2.587194279527956]
OpenVINOやONNXのような既存のフレームワークは、しばしば不透明なコンパイルパイプラインを使用する。
Forge-UGCは、グラフキャプチャ、最適化、中間表現の低下、バックエンドスケジューリングを分離するハードウェアに依存しない設計でこの問題に対処する。
論文 参考訳（メタデータ） (2026-04-14T04:39:16Z) - BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。
BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
論文 参考訳（メタデータ） (2026-02-04T02:54:37Z) - FP8-Flow-MoE: A Casting-Free FP8 Recipe without Double Quantization Error [3.281844093101284]
大規模なMixture-of-Experts(MoE)モデルのトレーニングは、極端な計算とメモリ要求のため、計算的に禁じられている。
FP8-Flow-MoEは,スケールアウェア計算と融合したFP8演算子を備えた量子化一貫性FP8中心のデータフローを特徴とする学習レシピである。
論文 参考訳（メタデータ） (2025-11-04T06:36:59Z) - INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。
本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。
FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
論文 参考訳（メタデータ） (2025-10-29T15:11:53Z) - Speeding Up MACE: Low-Precision Tricks for Equivarient Force Fields [51.95157731126864]
機械学習力場は高い計算コストで正確な分子動力学(MD)を提供することができる。
この論文は、計算ボトルネックを特定し、低精度の実行ポリシーを評価することで、MACEを安価かつ高速にすることを目的としている。
論文 参考訳（メタデータ） (2025-10-23T14:02:34Z) - Towards Fully FP8 GEMM LLM Training at Scale [77.97607456493257]
既存のアプローチは、しばしば最適化されたFP8カーネルに依存するか、より高精度な行列乗算に回帰する。
本稿では, トランスブロック内のすべてのGEMMに対して, 前方および後方の両方でFP8計算をサポートする新しいLLMアーキテクチャを提案する。
これにより、特に大規模では、標準的なBF16トレーニングのダウンストリームパフォーマンスにマッチしながら、前例のないスループット向上が可能になる。
論文 参考訳（メタデータ） (2025-05-26T21:04:14Z) - "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
量子化は大規模言語モデル(LLM)推論を高速化するための強力なツールであるが、異なるフォーマット間での精度と性能のトレードオフは依然として不明である。
FP8,INT8,INT4の量子化を学術ベンチマークや実世界のタスクで評価し,これまでで最も包括的な実証的研究を行った。
論文 参考訳（メタデータ） (2024-11-04T18:21:59Z) - FPN-fusion: Enhanced Linear Complexity Time Series Forecasting Model [1.9780020273082008]
本研究では,線形計算複雑性を考慮した新しい時系列予測モデルFPN-fusionを提案する。
まず、時系列データの特徴を効果的に把握するためにFPN(Feature Pyramid Network)が採用され、従来の分解からトレンドや季節的なコンポーネントへ変換される。
FPN融合は、8つのオープンソースデータセットで32ケース中31ケースでDLinerを上回り、平均2乗誤差(MSE)は16.8%、平均絶対誤差(MAE)は11.8%となっている。
論文 参考訳（メタデータ） (2024-06-06T14:34:26Z) - FP8-LM: Training FP8 Large Language Models [47.17804713425323]
本稿では,大規模言語モデルの学習のためのFP8自動混合精度フレームワークを提案する。
実験の結果,H100 GPUプラットフォーム上でのGPT-175Bモデルのトレーニングにおいて,我々のFP8混合精度トレーニングフレームワークは,実際のメモリ使用量の39%削減だけでなく,広く採用されているBF16フレームワークよりも75%高速に動作したことがわかった。
論文 参考訳（メタデータ） (2023-10-27T17:59:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。