論文の概要: Mixed precision accumulation for neural network inference guided by componentwise forward error analysis

• arxiv url: http://arxiv.org/abs/2503.15568v1
• Date: Wed, 19 Mar 2025 09:19:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 22:26:45.715753
• Title: Mixed precision accumulation for neural network inference guided by componentwise forward error analysis
• Title（参考訳）: 成分方向前方誤差解析によるニューラルネットワーク推論の混合精度蓄積
• Authors: El-Mehdi El Arar, Silviu-Ioan Filip, Theo Mary, Elisa Riccietti,
• Abstract要約: ニューラルネットワークの推論のための数学的に確立された混合精度蓄積戦略を提案する。 我々の戦略は、ニューラルネットワークの前方通過におけるエラーの伝播を説明する新しいコンポーネントワイズ・フォワード・エラー分析に基づいている。
• 参考スコア（独自算出の注目度）: 2.4374097382908477
• License:
• Abstract: This work proposes a mathematically founded mixed precision accumulation strategy for the inference of neural networks. Our strategy is based on a new componentwise forward error analysis that explains the propagation of errors in the forward pass of neural networks. Specifically, our analysis shows that the error in each component of the output of a layer is proportional to the condition number of the inner product between the weights and the input, multiplied by the condition number of the activation function. These condition numbers can vary widely from one component to the other, thus creating a significant opportunity to introduce mixed precision: each component should be accumulated in a precision inversely proportional to the product of these condition numbers. We propose a practical algorithm that exploits this observation: it first computes all components in low precision, uses this output to estimate the condition numbers, and recomputes in higher precision only the components associated with large condition numbers. We test our algorithm on various networks and datasets and confirm experimentally that it can significantly improve the cost--accuracy tradeoff compared with uniform precision accumulation baselines.
• Abstract（参考訳）: 本研究は、ニューラルネットワークの推論のための数学的に確立された混合精度蓄積戦略を提案する。 我々の戦略は、ニューラルネットワークの前方通過におけるエラーの伝播を説明する新しいコンポーネントワイズ・フォワード・エラー分析に基づいている。 具体的には, 重みと入力の内積の条件数に比例し, 活性化関数の条件数に乗じる。 これらの条件数は、ある成分から別の成分に大きく異なるため、混合精度を導入する重要な機会を生み出す: 各成分は、これらの条件番号の積に逆比例して、精度で蓄積されるべきである。 提案手法は,まず低精度で全ての成分を計算し,この出力を用いて条件数を推定し,大容量条件数に付随する成分のみを高精度に再計算する。 提案アルゴリズムを各種ネットワークやデータセット上でテストし,一様精度の蓄積ベースラインと比較して,コスト-精度トレードオフを大幅に改善できることを実験的に確認した。

関連論文リスト

• Binary Losses for Density Ratio Estimation [2.512309434783062]
  有限個の観測値から2つの確率密度の比を推定することは、中央の機械学習問題である。 本研究では, 誤差の小さい密度比推定器が生じる損失関数を特徴付ける。 本研究では,大きな密度比値の正確な推定を優先するような,特定の特性を持つ損失関数を構成するための簡単なレシピを得る。
  論文  参考訳（メタデータ） (2024-07-01T15:24:34Z)
• A Fourier Approach to the Parameter Estimation Problem for One-dimensional Gaussian Mixture Models [21.436254507839738]
  一次元ガウス混合モデルにおけるパラメータ推定のための新しいアルゴリズムを提案する。 本アルゴリズムは,EMアルゴリズムと比較して,確率,AIC,BICのスコアがよいことを示す。
  論文  参考訳（メタデータ） (2024-04-19T03:53:50Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Combining Gradients and Probabilities for Heterogeneous Approximation of Neural Networks [2.5744053804694893]
  近似乗算器の挙動シミュレーションのための代理モデルとして,加法的ガウス雑音の有効性について検討する。 バックプロパゲーションを用いたネットワークトレーニングにおいて、正確な計算に注入されるノイズの量について学習する。 実験により,不均一近似とニューラルネットワーク再学習の組み合わせは,変種に対するエネルギー消費を減少させることが示された。
  論文  参考訳（メタデータ） (2022-08-15T15:17:34Z)
• E2N: Error Estimation Networks for Goal-Oriented Mesh Adaptation [6.132664589282657]
  我々は、適切に構成され、訓練されたニューラルネットワークを用いて、「データ駆動型」目標指向メッシュ適応アプローチを開発する。 ここでは要素単位の構成を用い、メッシュ幾何学に関連する様々なパラメータの局所値を入力とする。 提案手法は計算コストを削減して同じ精度が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-22T17:41:37Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• Variational Physics Informed Neural Networks: the role of quadratures and test functions [0.0]
  変分物理学インフォームドニューラルネットワーク(VPINN)の収束率に異なる精度のガウスあるいはニュートン・コートの二次規則と異なる等級の分数的テスト関数がどう影響するかを解析する。 Inf-sup条件に依存したペトロフ・ガレルキンの枠組みを用いて、計算されたニューラルネットワークの最適高次分数補間と正確な解のエネルギーノルムの優先誤差を推定する。
  論文  参考訳（メタデータ） (2021-09-05T10:06:35Z)
• Eigen Analysis of Self-Attention and its Reconstruction from Partial Computation [58.80806716024701]
  ドット積に基づく自己注意を用いて計算した注意点のグローバルな構造について検討する。 注意点の変動の大部分は低次元固有空間にあることがわかった。 トークンペアの部分的な部分集合に対してのみスコアを計算し、それを用いて残りのペアのスコアを推定する。
  論文  参考訳（メタデータ） (2021-06-16T14:38:42Z)
• Learning Optical Flow from a Few Matches [67.83633948984954]
  密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。 実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
  論文  参考訳（メタデータ） (2021-04-05T21:44:00Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。