論文の概要: Floating-Point Networks with Automatic Differentiation Can Represent Almost All Floating-Point Functions and Their Gradients

• arxiv url: http://arxiv.org/abs/2605.01702v1
• Date: Sun, 03 May 2026 04:06:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:49.891478
• Title: Floating-Point Networks with Automatic Differentiation Can Represent Almost All Floating-Point Functions and Their Gradients
• Title（参考訳）: 自動微分付き浮動小数点ネットワークは、ほぼ全ての浮動小数点関数とその勾配を表現できる
• Authors: Sejun Park, Yeachan Park, Geonho Hwang,
• Abstract要約: 自動微分アルゴリズム$DmathtAD$により、入力に対する勾配が計算されたとき、同様の結果が浮動小数点演算の下でニューラルネットワークに対して成り立つかどうかを検討する。 私たちの結果は、例えば$mathrmReLU$, $mathrmELU$, $mathrmGeLU$, $mathrmSwish$, $mathrmSigmoid$, $mathrmtanh$といった実用的なアクティベーション関数を保ちます。
• 参考スコア（独自算出の注目度）: 12.42591017155152
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Theoretical studies show that for any differentiable function on a compact domain, there exists a neural network that approximates both the function values and gradients. However, such a result cannot be used in practice since it assumes real parameters and exact internal operations. In contrast, real implementations only use a finite subset of reals and machine operations with round-off errors. In this work, we investigate whether a similar result holds for neural networks under floating-point arithmetic, when the gradient with respect to the input is computed by the automatic differentiation algorithm $D^\mathtt{AD}$. We first show that given a floating-point function $φ$ (e.g., a loss function), arbitrary function values and gradients can be represented by a floating-point network $f$ and $D^\mathtt{AD}(φ\circ f)$, respectively. We further extend this result: given $φ_1,\dots,φ_n$, $D^\mathtt{AD}(φ_i\circ f)$ can simultaneously represent arbitrary gradients while $f$ represents the target values, under mild conditions. Our results hold for practical activation functions, e.g., $\mathrm{ReLU}$, $\mathrm{ELU}$, $\mathrm{GeLU}$, $\mathrm{Swish}$, $\mathrm{Sigmoid}$, and $\mathrm{tanh}$.
• Abstract（参考訳）: 理論的研究は、コンパクト領域上の任意の微分可能な関数に対して、関数値と勾配の両方を近似するニューラルネットワークが存在することを示している。 しかし、実際のパラメータと正確な内部操作を仮定するので、実際にはそのような結果は利用できない。 対照的に、実実装は、ラウンドオフエラーのある実数と機械操作の有限部分集合のみを使用する。 本研究では,入力に対する勾配が自動微分アルゴリズム$D^\mathtt{AD}$で計算された場合,浮動小数点演算の下で同様の結果が得られるかを検討する。 まず、浮動小数点関数 $φ$ (e g , a loss function) が与えられたとき、任意の関数値と勾配は、それぞれ浮動小数点ネットワーク $f$ と $D^\matht{AD}(φ\circ f)$ で表されることを示す。 与えられた$φ_1,\dots,φ_n$, $D^\matht{AD}(φ_i\circ f)$ は任意の勾配を同時に表現でき、$f$ は穏やかな条件下でターゲット値を表す。 実際の活性化関数は、eg, $\mathrm{ReLU}$, $\mathrm{ELU}$, $\mathrm{GeLU}$, $\mathrm{Swish}$, $\mathrm{Sigmoid}$, $\mathrm{tanh}$である。

関連論文リスト

• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の勾配勾配勾配学習問題について検討する。 SGDに基づくアルゴリズムにより最適化された2層ニューラルネットワークは、情報指数に支配されない複雑さで$f_*$を学習する。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• Deep Network Approximation: Beyond ReLU to Diverse Activation Functions [12.479831561907007]
  本稿では,多様な活性化関数に対するディープニューラルネットワークの表現力について検討する。 アクティベーション関数セット$mathscrA$は、一般的に使用されるアクティベーション関数の大部分を含むように定義される。
  論文  参考訳（メタデータ） (2023-07-13T04:46:05Z)
• Fast $(1+\varepsilon)$-Approximation Algorithms for Binary Matrix Factorization [54.29685789885059]
  本稿では, 2次行列分解(BMF)問題に対する効率的な$(1+varepsilon)$-approximationアルゴリズムを提案する。 目標は、低ランク因子の積として$mathbfA$を近似することである。 我々の手法はBMF問題の他の一般的な変種に一般化する。
  論文  参考訳（メタデータ） (2023-06-02T18:55:27Z)
• MLPGradientFlow: going with the flow of multilayer perceptrons (and finding minima fast and accurately) [6.4560113506698436]
  GradientFlowは数値勾配流微分方程式を解くソフトウェアパッケージである。 小さなネットワークやデータセットでは、勾配はpytorchよりも高速に計算され、Hessianは少なくとも5倍速で計算される。
  論文  参考訳（メタデータ） (2023-01-25T15:21:44Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• Sharp Representation Theorems for ReLU Networks with Precise Dependence on Depth [26.87238691716307]
  D$ReLU層を持つニューラルネットワークに対して,2乗損失下でのシャープな表現結果を証明した。 その結果、より深いネットワークはよりスムーズな関数を表現するのに優れているという仮説が実証された。
  論文  参考訳（メタデータ） (2020-06-07T05:25:06Z)
• On the Modularity of Hypernetworks [103.1147622394852]
  構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
  論文  参考訳（メタデータ） (2020-02-23T22:51:52Z)
• On Gradient Descent Ascent for Nonconvex-Concave Minimax Problems [86.92205445270427]
  非コンミニマックス問題、$min_mathbfx max_mathhidoty f(mathbfdoty)$を効率的に考える。
  論文  参考訳（メタデータ） (2019-06-02T03:03:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。