論文の概要: On the Structure of Floating-Point Noise in Batch-Invariant GPU Matrix Multiplication

• arxiv url: http://arxiv.org/abs/2511.00025v1
• Date: Sun, 26 Oct 2025 08:18:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.519475
• Title: On the Structure of Floating-Point Noise in Batch-Invariant GPU Matrix Multiplication
• Title（参考訳）: バッチ不変GPU行列乗算における浮動小数点雑音の構造について
• Authors: Tadisetty Sai Yashwanth,
• Abstract要約: 浮動小数点非連想性は、行列乗法(本質的に非決定論的)のような基本的な深層学習操作を生成する。 一般的な作業上の仮定は、これらの誤差は独立かつ同一に分散されたガウスノイズとして振る舞うことである。 本稿では,この仮定を実証的に検証し,実際のGPU動作を記述できないことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Floating-point non-associativity makes fundamental deep learning operations, such as matrix multiplication (matmul) on GPUs, inherently non-deterministic. Despite this, the statistical structure of the resulting numerical error remains poorly understood. A common working assumption is that these errors behave as independent and identically distributed (i.i.d.) Gaussian noise. In this paper, we empirically test this assumption and show that it fails to describe real GPU behavior. By comparing outputs of single-input and batched matmuls, we find that while the i.i.d. model predicts non-zero output instability, empirical results show a 0.00% prediction flip rate. Through covariance analysis, we uncover the cause: the floating-point error is structured and highly correlated. For float16, nearly 50% of the total error variance lies in off-diagonal terms, revealing that the noise behaves as a coordinated, directional perturbation rather than random static. This result challenges the prevailing stochastic view of numerical noise and provides a principled foundation for analyzing deep learning reliability under hardware non-determinism.
• Abstract（参考訳）: 浮動小数点非連想性(Floating-point non-associativity)は、本質的に非決定論的であるGPU上の行列乗算(matmul)のような基本的なディープラーニング操作を生成する。 それにもかかわらず、結果の数値誤差の統計的構造は未だよく理解されていない。 一般的な作業上の仮定は、これらの誤差は独立で同じ分布(すなわちガウスノイズ)として振る舞うことである。 本稿では,この仮定を実証的に検証し,実際のGPU動作を記述できないことを示す。 単入出力とバッチ行列の出力を比較することで、i.d.モデルが非ゼロ出力不安定を予測しているのに対して、経験的結果は0.00%のフリップ率を示すことがわかった。 共分散解析により,浮動小数点誤差は構造化され,高い相関関係にあることが明らかとなった。 float16の場合、総誤差分散の50%近くは対角線外にあるため、ノイズはランダムな静的ではなく、協調された方向の摂動として振る舞う。 この結果は、数値ノイズの確率論的見解に挑戦し、ハードウェア非決定性の下での深層学習の信頼性を解析するための原則的基盤を提供する。

関連論文リスト

• Identifying Causal Direction via Dense Functional Classes [0.0]
  LCUBEは実世界のTuebingen の因果効果ペアデータセット上で AUDRC の精度に優れることを示す。 また、一般的な10のベンチマークデータセットの平均精度も向上し、13のデータセットの平均精度を達成している。
  論文  参考訳（メタデータ） (2025-08-30T15:42:31Z)
• Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference [31.2331188304598]
  評価バッチサイズ、GPUカウント、GPUバージョンなどのシステム構成の変更は、生成されたレスポンスに大きな違いをもたらす可能性がある。 この変数の根本原因は、限定的な数値精度で浮動小数点算術の非連想性に遡る。 そこで我々は16ビットの精度で重みを格納するが、FP32では全ての計算を実行する軽量な推論パイプラインLayerCastを開発した。
  論文  参考訳（メタデータ） (2025-06-11T08:23:53Z)
• Causal Discovery of Linear Non-Gaussian Causal Models with Unobserved Confounding [1.6932009464531739]
  我々は,線形非ガウス構造方程式モデルについて考察する。 この設定では、因果構造は特定可能であるが、一般に、特定の因果効果を識別することはできない。
  論文  参考訳（メタデータ） (2024-08-09T07:24:12Z)
• A Scale-Invariant Sorting Criterion to Find a Causal Order in Additive Noise Models [49.038420266408586]
  分散の増加による変数のソートは、しばしば因果順序に近い順序になることを示す。 本稿ではR2$-SortnRegressと呼ばれる,高いR2$-sortabilityを利用する効率的なベースラインアルゴリズムを提案する。 その結果,因果発見に関連するデータ生成プロセスの仮定として,R2$-sortabilityが高額であることが判明した。
  論文  参考訳（メタデータ） (2023-03-31T17:05:46Z)
• General Gaussian Noise Mechanisms and Their Optimality for Unbiased Mean Estimation [58.03500081540042]
  プライベート平均推定に対する古典的なアプローチは、真の平均を計算し、バイアスのないがおそらく相関のあるガウスノイズを加えることである。 すべての入力データセットに対して、集中的な差分プライバシーを満たす非バイアス平均推定器が、少なくとも多くのエラーをもたらすことを示す。
  論文  参考訳（メタデータ） (2023-01-31T18:47:42Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• The price of ignorance: how much does it cost to forget noise structure in low-rank matrix estimation? [21.3083877172595]
  本稿では,構造的回転不変雑音によるランク1信号の誤差を推定する問題を考察する。 我々は,ノイズ統計量である強いミスマッチ源の効果を理解するための一歩を踏み出した。 この性能差は信号ノルムの誤推定によるものであることを示す。
  論文  参考訳（メタデータ） (2022-05-20T07:54:21Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Denoising Score Matching with Random Fourier Features [11.60130641443281]
  Kernel Exponential Family を用いたDenoising Score matching の解析式をモデル分布として導出する。 得られた式はノイズのばらつきに明示的に依存するため、バリデーション損失はノイズレベルを調整するために簡単に使用できる。
  論文  参考訳（メタデータ） (2021-01-13T18:02:39Z)
• Causal Expectation-Maximisation [70.45873402967297]
  ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。 我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。 我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
  論文  参考訳（メタデータ） (2020-11-04T10:25:13Z)
• A Robust Test for Elliptical Symmetry [2.030567625639093]
  楕円性GoFテストは通常分析が困難であり、統計力は特に強くないことが多い。 デ・フィネッティが導入した交換可能な確率変数計算に基づく新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2020-06-05T08:51:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。