論文の概要: Expressive Power of Floating-Point Neural Networks with Arbitrary Reduction Orders and Inexact Activation Implementations
- arxiv url: http://arxiv.org/abs/2605.28704v1
- Date: Wed, 27 May 2026 16:30:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:56.215307
- Title: Expressive Power of Floating-Point Neural Networks with Arbitrary Reduction Orders and Inexact Activation Implementations
- Title（参考訳）: 任意縮小順序付き浮動小数点ニューラルネットワークの表現力と不正確なアクティベーション実装
- Authors: Yeachan Park, Geonho Hwang, Wonyeol Lee, Sejun Park,
- Abstract要約: 汎用的な浮動小数点実行セマンティクスに基づく浮動小数点ニューラルネットワークの表現力について検討する。
第1層における各異なる入力を識別する能力は、普遍的な表現性に必要であることを示す。
- 参考スコア（独自算出の注目度）: 13.806988702133694
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most existing expressivity theories for neural networks assume exact real arithmetic, whereas practical neural networks are executed under finite-precision floating-point arithmetic with implementation-dependent execution semantics. Recent works have begun studying the expressive power of floating-point neural networks, but existing results are limited to highly restricted activation functions and idealized assumptions such as fixed left-to-right reduction orders and correctly rounded activation implementations. In this work, we study the expressive power of floating-point neural networks under generalized floating-point execution semantics, including arbitrary reduction orders and inexact activation implementations with bounded ulp errors. We investigate when floating-point neural networks can represent arbitrary functions between floating-point domains exactly. To this end, we introduce a general distinguishability framework and show that the ability to distinguish every pair of distinct inputs in the first layer is necessary for universal representability. This characterization yields broad classes of activation implementations that are not universal representators, extending previous isolated counterexamples such as the correctly rounded cosine activation. We further prove that a suitable form of distinguishability is also sufficient for universal representability under mild conditions on the activation implementation. Using this framework, we establish universal representability results for a broad class of practical activation functions, including implementations of $\mathrm{Sigmoid}$, $\tanh$, $\mathrm{ReLU}$, $\mathrm{ELU}$, $\mathrm{SeLU}$, $\mathrm{GeLU}$, $\mathrm{Swish}$, $\mathrm{Mish}$, and $\sin$, under significantly more realistic floating-point execution models than previously known.
- Abstract（参考訳）: ニューラルネットワークの既存の表現論の多くは正確な実算術を仮定するが、実用的なニューラルネットワークは有限精度浮動小数点演算と実装に依存した実行セマンティクスで実行される。
近年、浮動小数点ニューラルネットワークの表現力の研究が始まっているが、既存の結果は高度に制限されたアクティベーション関数と、固定された左から右へのリダクションオーダーや正しく丸められたアクティベーション実装のような理想的な仮定に限られている。
本研究では,浮動小数点実行セマンティクスに基づく浮動小数点ニューラルネットワークの表現力について検討する。
浮動小数点ニューラルネットワークが浮動小数点領域間の任意の関数を正確に表現できるかどうかを検討する。
この目的のために、一般的な識別可能性フレームワークを導入し、第1層における各異なる入力を識別する能力は、普遍的な表現可能性に必要であることを示す。
この特徴付けにより、普遍表現子ではない活性化実装の幅広いクラスが得られ、正しく丸められたコサイン活性化のような以前の孤立した反例が拡張される。
さらに, アクティベーション実装の軽度条件下での普遍的表現性にも, 識別可能性の適切な形式が十分であることを示す。
このフレームワークを用いることで、より広い種類の実用的なアクティベーション関数に対する普遍的な表現可能性結果を確立します。例えば、$\mathrm{Sigmoid}$, $\tanh$, $\mathrm{ReLU}$, $\mathrm{ELU}$, $\mathrm{SeLU}$, $\mathrm{GeLU}$, $\mathrm{Swish}$, $\mathrm{Mish}$, $\sin$。
関連論文リスト
- Floating-Point Neural Networks Are Provably Robust Universal Approximators [11.144011131237935]
ニューラルネットワークはより一般的な区間普遍近似(IUA)定理を享受する。
オープンな疑問は、IUA定理が浮動小数点設定でまだ成り立つかどうかである。
浮動小数点設定における我々のIUA定理は、実数値設定と物質的差異を示す。
論文 参考訳（メタデータ） (2025-06-19T06:43:04Z) - A Near Complete Nonasymptotic Generalization Theory For Multilayer Neural Networks: Beyond the Bias-Variance Tradeoff [57.25901375384457]
任意のリプシッツ活性化と一般リプシッツ損失関数を持つ多層ニューラルネットワークに対する漸近一般化理論を提案する。
特に、文献でよく見られるように、損失関数の有界性を必要としない。
回帰問題に対する多層ReLUネットワークに対する理論の極小最適性を示す。
論文 参考訳（メタデータ） (2025-03-03T23:34:12Z) - On Expressive Power of Quantized Neural Networks under Fixed-Point Arithmetic [10.903394804377898]
本研究では、離散的な固定点パラメータとラウンドリングによる誤りを生じる可能性のある固定点演算の下で、量子化されたネットワークの普遍近似特性について検討する。
我々は,Sigmoid,ReLU,ELU,SoftPlus,SiLU,Mish,GELUなど,一般的なアクティベーション機能が私たちの十分な条件を満たすことを示す。
論文 参考訳（メタデータ） (2024-08-30T23:40:19Z) - Expressive Power of ReLU and Step Networks under Floating-Point Operations [11.29958155597398]
二項しきい値単位またはReLUを用いたニューラルネットワークは、任意の有限入力/出力ペアを記憶可能であることを示す。
また,浮動小数点演算が有意および指数の両方に有限ビットを使用する場合,暗記および普遍近似に関する同様の結果を示す。
論文 参考訳（メタデータ） (2024-01-26T05:59:40Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Benefits of Overparameterized Convolutional Residual Networks: Function
Approximation under Smoothness Constraint [48.25573695787407]
大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。
我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
論文 参考訳（メタデータ） (2022-06-09T15:35:22Z) - Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。
サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。
完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文 参考訳（メタデータ） (2021-06-15T18:34:41Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳（メタデータ） (2020-11-09T18:32:22Z) - Interval Universal Approximation for Neural Networks [47.767793120249095]
区間普遍近似(IUA)定理を導入する。
IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。
本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
論文 参考訳（メタデータ） (2020-07-12T20:43:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。