論文の概要: Fast Matrix Multiplication in fp8: Certified Coefficient Optimization and Measured Error

• arxiv url: http://arxiv.org/abs/2609.26077v1
• Date: Tue, 04 Aug 2026 02:16:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.867496
• Title: Fast Matrix Multiplication in fp8: Certified Coefficient Optimization and Measured Error
• Title（参考訳）: fp8における高速行列乗算:証明された係数最適化と測定誤差
• Abstract要約: ストラッセン型アルゴリズムは、基底変化係数が逆転するので、同じ正確な積を持つ多くの実現法を持ち、fp8誤差をカウントする。 これを解決するために、各実現には、その幾何係数のスカラー要約である$$の係数を付加する。 したがって、任意の正確な実階数-7 実現は、立方乗算の少なくとも5/3倍の RMS 定数を$$予測する。
• 参考スコア（独自算出の注目度）: 13.460819902711838
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A Strassen-type algorithm has many realizations with the same exact product and multiplication count yet different fp8 error because basis changes reshape coefficient geometry, posing the question of which to run. No current account settles this: classical stability controls worst-case $\ell_1$ growth, not the expected-error magnitude, and the Dumas--Pernet--Sedoglavic optimizer could only be called probably optimal, its global optimality unproved. To settle this, we attach to each realization a coefficient functional $Φ$, a scalar summary of its coefficient geometry, which we minimize over the change-of-basis orbit. This Kempf--Ness problem on a Hadamard manifold lets us certify the global $Φ$ optimum rather than merely search for it: an exact moment-map zero fixes $Φ_{\min} = 200/9$, and de Groote's classification extends that optimality to every exact real rank-7 $2\times2$ decomposition. Every exact real rank-7 realization therefore has a $Φ$-predicted RMS constant at least $5/3$ times that of the cubic algorithm, at fixed noise coefficient. We then introduce an explicit block-scaled e4m3 model in which $Φ$ is the leading-order coefficient of relative expected mean-squared error, and we test the resulting $Φ$-predicted ordering against realized fp8 error. Ordering and re-basing experiments support that prediction within tested fused block-scaled regimes, and on real matmul tiles from four architecture families the $Φ$-optimal realization falls in the fp8 low-error region. Across two $\sim$70B models on real deep_gemm kernels, the same realization removes 10 to 55% of classic Strassen's excess NLL over the clean model. Algorithm realization thus becomes a mathematically certified design problem rather than a tuning choice: an independent low-precision axis with a global $Φ$ optimum and measured fp8 relevance.
• Abstract（参考訳）: ストラッセン型アルゴリズムは、基底変化が係数の幾何を形作るため、同じ正確な積と乗算数が異なるfp8誤差を持つ多くの実現法を持つ。 古典的安定性は最悪のケースである$\ell_1$成長を制御し、予測エラースケールではなく、Dumas--Pernet--Sedoglavicオプティマイザはおそらく最適としか呼べず、そのグローバルな最適性は証明されていない。 これを解決するために、各実効化に、係数幾何のスカラー概要である係数汎函数$$をアタッチし、基底軌道の変化を最小限に抑える。 アダマール多様体上のこのケンプ=ネッス問題により、単に探すのではなく、大域的な$=最適化を証明できる: 正確なモーメントマップゼロの修正 $ _{\min} = 200/9$ であり、デ・グロットの分類は任意の正確な実階数 7 に対してその最適性を拡張する。 したがって、任意の正確な実ランク7の実化は、固定ノイズ係数で立方体アルゴリズムの少なくとも5/3倍のRMS定数を持つ。 次に, ブロックスケールの e4m3 モデルを導入し, 相対的な平均二乗誤差の先行次係数を $ $ とし, 実現した fp8 誤差に対して $ $ の予測順序を検証した。 順序付けと再ベース実験は、テストされたブロックスケールのレシエーション内での予測と、4つのアーキテクチャファミリーの実際のマトゥルタイルにおいて、$$$-optimal realizationはfp8ローエラー領域に該当する、という予測を支持している。 実際のDeep_gemmカーネル上の2つの$\sim$70Bモデルを通して、同じ実現により、古典的なストラッセンの過剰なNLLの10～55%がクリーンモデルから取り除かれる。 したがって、アルゴリズムの実現はチューニングの選択よりも数学的に認定された設計問題となる:大域的な$$$最適化と測定されたfp8関連を持つ独立した低精度軸である。

関連論文リスト

• EGGROLL, Unrolled: Understanding and Improving Low-Rank Evolution Strategies at Scale [9.562123195246393]
  EGGROLL は高密度ガウス重摂動を低ランクガウス積に置き換えることで LLM の進化戦略を実践する。 有限人口推定器の誤差を解析する。 退避推定器であるLOO-ROLLは、EGGROLLの2つのアンチセティック評価を1方向に置き換えつつ、有限ランクの個体群を保存する。
  論文  参考訳（メタデータ） (2026-09-10T01:58:02Z)
• SILAGE: Memory-Efficient, Full-Gradient-Free Nonconvex Optimization for Nested Finite Sums [51.49970814177172]
  データセットに対する経験的リスクは、自然に$N=nm$全サンプルに類似性を示す。 我々は悲観的な収束分析を避ける分析を提供する。 我々の成果は、既存の最先端の体制を改善した。
  論文  参考訳（メタデータ） (2026-06-14T14:11:07Z)
• Wall-Clock Complexity for Zeroth-Order Optimization with Tunable Oracle Fidelity [68.54852541944625]
  ブラックボックス最適化は勾配が利用できない場合に適用され、客観的評価は高価なシミュレーションに依存する。 本稿では, オラクル型, ノイズモデル, 最適化方式の選択が, アルゴリズムパラメータに対する壁面最適選択をいかに引き起こすかを示す。
  論文  参考訳（メタデータ） (2026-05-29T14:24:54Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Theoretical limits of descending $\ell_0$ sparse-regression ML algorithms [0.0]
  本研究では,emphmaximum-likelihood (ML)デコーディングの性能解析プログラムを開発した。 ML性能パラメータの鍵となるのは、残留エンフェロ平均二乗誤差(textbfRMSE$)を発見し、いわゆるエンフェロ遷移(PT)現象を示す。 Fl RDTの具体的実装と実用的妥当性は、典型的には、基礎となる数値評価のサイズのセットを実行する能力に依存している。
  論文  参考訳（メタデータ） (2024-10-10T06:33:41Z)
• MGDA Converges under Generalized Smoothness, Provably [27.87166415148172]
  多目的最適化(MOO)はマルチタスク学習など様々な分野で注目を集めている。 最近の研究は、理論解析を伴う効果的なアルゴリズムを提供しているが、それらは標準の$L$-smoothあるいは有界勾配仮定によって制限されている。 一般化された$ell$-smooth損失関数のより一般的で現実的なクラスについて研究し、$ell$は勾配ノルムの一般非減少関数である。
  論文  参考訳（メタデータ） (2024-05-29T18:36:59Z)
• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• Noise Stability Optimization for Finding Flat Minima: A Hessian-based Regularization Approach [18.009376840944284]
  本稿では,ヘッセン損失行列を効果的に正規化できるアルゴリズムを提案する。 提案手法は,CLIPとチェーン・オブ・ファインチューニングデータセットの事前学習における一般化の改善に有効である。
  論文  参考訳（メタデータ） (2023-06-14T14:58:36Z)
• Finding Global Minima via Kernel Approximations [90.42048080064849]
  関数評価のみに基づく滑らかな関数のグローバル最小化を考える。 本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
  論文  参考訳（メタデータ） (2020-12-22T12:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。