Fugu-MT 論文翻訳(概要): Fast Polynomial Transcendentals for LLMs

論文の概要: Fast Polynomial Transcendentals for LLMs

arxiv url: http://arxiv.org/abs/2610.00049v1
Date: Thu, 03 Sep 2026 17:18:10 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-05 14:48:16.330314
Title: Fast Polynomial Transcendentals for LLMs
Title（参考訳）: LLMのための高速ポリノミアルトランスセンデンタル
Abstract要約: ネイティブシグモイド,タン,シグモイド線形ユニット(SiLU)を4GB200統合タスクで次数3または次数4bfloat16(BF16)プログラムで置き換える。プログラムは分析対称性、ターゲットフォーマットのラウンドリング、および消費カーネル内での算術を組み合わせている。
参考スコア（独自算出の注目度）: 4.560316459247797
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Graphics processing unit (GPU) generations scale matrix, special-function, and memory pipelines at different rates, so kernel bottlenecks move as hardware evolves. FlashAttention-4 exposed this imbalance inside attention on NVIDIA Blackwell. We test whether short polynomial programs can accelerate other special-function-unit (SFU) operations in large language models (LLMs). We first compare native PyTorch evaluation with packed fused multiply--add (FMA) programs in an isolated IEEE binary16 (FP16) sweep spanning L2-resident and high-bandwidth-memory (HBM)-resident working sets. We then replace native sigmoid, tanh, and sigmoid linear unit (SiLU) with degree-3 or degree-4 bfloat16 (BF16) programs in four GB200 integration tasks: dense SiLU, tanh-softcapped attention, sigmoid attention, and routed-expert Swish-gated linear unit (SwiGLU). The programs combine analytical symmetry, target-format rounding, and packed arithmetic inside consuming kernels. The isolated paths improve by 1.19--2.19x in L2 and 1.00--1.70x in HBM. The dense-SiLU, tanh-softcapped-attention, and routed-expert substitutions improve complete training-step throughput by 2.7\%, 2.9\%, and 8.0\%, respectively. The sigmoid-attention substitution improves complete-attention forward by 7.4\% and the complete GPU step by 0.3\%. Same-checkpoint open-weight ablations and one paired pre-training comparison per task extend the evaluation to model behavior. At common horizons near 100 billion tokens, the final smoothed training-loss differences (polynomial minus native) range from $-0.107$ to $+0.079$ across the four tasks.
Abstract（参考訳）: グラフィックス処理ユニット(GPU)は、スケールマトリックス、特殊機能、メモリパイプラインを異なるレートで生成する。 FlashAttention-4はこの不均衡をNVIDIA Blackwellに暴露した。本研究では,小多項式プログラムが大規模言語モデル(LLM)において,他の特殊関数ユニット(SFU)演算を高速化できるかどうかを検証する。我々はまず,L2-ResidentとHBM-Residentワーキングセットにまたがる分離IEEE binary16 (FP16)スイープにおけるFMAプログラムとネイティブPyTorchの評価を比較した。次に,次数3または次数4のbfloat16(BF16)プログラムを4つのGB200統合タスク – 濃密なSiLU,tanh-softcapped attention,sigmoid attention,ルート付きSwish-gate linear unit(SwiGLU) – で置き換える。プログラムは分析対称性、ターゲットフォーマットのラウンドリング、および消費カーネル内での算術を組み合わせている。分離された経路はL2では1.19--2.19x、HBMでは1.00--1.70xに改善されている。密集したSiLU、タングソフトキャップ付きアテンション、ルート付きエキスパート置換は、それぞれ2.7\%、2.9\%、および8.0\%の完全なトレーニングステップスループットを向上させる。 Sigmoid-attention 置換は、完全なアテンションを 7.4 % 改善し、完全な GPU ステップを 0.3 % 改善する。同じチェックポイントのオープンウェイトアブレーションと、タスク毎の1対の事前学習比較は、モデル動作の評価を拡張します。 1000億のトークンに近い一般的な地平線では、最後のスムーズなトレーニング損失差(polynomial minus native)は、4つのタスクにわたって$-0.107$から$+0.079$の範囲である。

関連論文リスト

$\varepsilon$-MemEvo: Adaptive Cross-Task Memory Transfer for LLM Program Evolution [6.467420733391463]
本稿では,プログラム進化におけるクロスタスクな知識伝達のためのフレームワークである$varepsilon$-MemEvoを紹介する。 $varepsilon$-MemEvoはタスクに依存しない戦術記憶としての経験を保存している。数式最適化とシステム工学にまたがる8つの最適化ベンチマークにおいて、$varepsilon$-MemEvoを評価した。
論文参考訳（メタデータ） (2026-08-12T18:56:31Z)
Mixture-of-Parallelisms: Towards Memory-Efficient Training Stack for Mixture-of-Experts Models [67.17268530365189]
本稿では,Mixture-of-Experts(MoE)モデルのためのメモリ効率のトレーニングスタックを紹介する。さまざまなレイヤやMoEモデルのトレーニングパイプラインのステージにおいて、さまざまな既存および新しい並列処理テクニックを組み合わせて、特殊化する。
論文参考訳（メタデータ） (2026-07-02T08:06:57Z)
Hierarchical Transformer Preconditioning for Interactive Physics Simulation [28.137076331332413]
階層型トランスフォーマープレコンディショナー(Hierarchical Transformer Preconditioner)は、弱い許容率のH行列分割に固定されたニューラルプレコンディショナーである。ネットワークは低ランクの遠距離因子を通して逆をモデル化する。高速道路の接続を利用して、奥行きを隔ててコンテキストを伝播する。
論文参考訳（メタデータ） (2026-05-13T11:02:27Z)
AGoQ: Activation and Gradient Quantization for Memory-Efficient Distributed Training of LLMs [9.35503487039164]
量子化は、大規模言語モデル(LLM)のトレーニングにおけるGPUメモリ要求を減らすための重要な方法である本稿では,AGoQを導入し,AGoQとAGoQの2つの新しい手法について紹介する。1)タイプとパイプラインステージに基づいて,各レイヤのアクティベーションに適切なビット幅を割り当てて,ほぼ4ビットのアクティベーションストレージを実現する階層型アクティベーション量子化アルゴリズム,2)8ビットのグラデーションストレージと精度保存8ビットのAll-Reduce通信を利用することで,メモリ使用率を低減し,通信時間を短縮する勾配量子化アルゴリズム。
論文参考訳（メタデータ） (2026-05-01T09:39:03Z)
FairyFuse: Multiplication-Free LLM Inference on CPUs via Fused Ternary Kernels [2.339485034137561]
提案するFairyFuseは,コモディティCPU上での乗算不要な実行を可能にする推論システムである。ルーフライン解析により、16倍の重み圧縮により、メモリバウンドGEMVは帯域幅制限CPUの計算系にシフトすることが示された。エンドツーエンドでは、FairyFuseは1つのIntel Xeon 8558Pで毎秒32.4トークンを獲得し、ラマを上回っている。
論文参考訳（メタデータ） (2026-04-22T02:42:10Z)
BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
論文参考訳（メタデータ） (2026-04-05T04:25:07Z)
Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。 d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
論文参考訳（メタデータ） (2026-03-23T17:57:24Z)
GSPN-2: Efficient Parallel Sequence Modeling [101.33780567131716]
一般化空間伝搬ネットワーク(GSPN)は2次自己アテンションを直線走査型伝搬方式に置き換えることでこの問題に対処する。 GSPN-2は、視覚アプリケーションにおけるグローバル空間コンテキストをモデル化するための新しい効率フロンティアを確立する。
論文参考訳（メタデータ） (2025-11-28T07:26:45Z)
KurTail : Kurtosis-based LLM Quantization [51.24081396305435]
KurTailは、大規模言語モデルのアクティベートにおいて、アウトレーヤを緩和する、新しいトレーニング後の量子化スキームである。 MMLUの精度は13.3%向上し、Wikiの難易度はQuaRotに比べて15.5%低下している。また、SpinQuantを2.6%のMMLUゲインで上回り、パープレキシティを2.9%削減し、トレーニングコストを削減した。
論文参考訳（メタデータ） (2025-03-03T12:43:06Z)
Democratizing AI: Open-source Scalable LLM Training on GPU-based Supercomputers [65.35142508909892]
AxoNNと呼ばれる,スケーラブルでポータブルなオープンソースフレームワークで実装された新しい4次元ハイブリッド並列アルゴリズムを提案する。本稿では,Frontier 上で AxoNN を用いて405ビリオンパラメータ LLM の微調整を行う。
論文参考訳（メタデータ） (2025-02-12T06:05:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。