論文の概要: Floating-Point Neural Networks Are Provably Robust Universal Approximators

• arxiv url: http://arxiv.org/abs/2506.16065v1
• Date: Thu, 19 Jun 2025 06:43:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:04.965404
• Title: Floating-Point Neural Networks Are Provably Robust Universal Approximators
• Title（参考訳）: 浮動小数点ニューラルネットワークは、おそらくロバストなユニバーサル近似器である
• Authors: Geonho Hwang, Wonyeol Lee, Yeachan Park, Sejun Park, Feras Saad,
• Abstract要約: ニューラルネットワークはより一般的な区間普遍近似(IUA)定理を享受する。 オープンな疑問は、IUA定理が浮動小数点設定でまだ成り立つかどうかである。 浮動小数点設定における我々のIUA定理は、実数値設定と物質的差異を示す。
• 参考スコア（独自算出の注目度）: 11.144011131237935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The classical universal approximation (UA) theorem for neural networks establishes mild conditions under which a feedforward neural network can approximate a continuous function $f$ with arbitrary accuracy. A recent result shows that neural networks also enjoy a more general interval universal approximation (IUA) theorem, in the sense that the abstract interpretation semantics of the network using the interval domain can approximate the direct image map of $f$ (i.e., the result of applying $f$ to a set of inputs) with arbitrary accuracy. These theorems, however, rest on the unrealistic assumption that the neural network computes over infinitely precise real numbers, whereas their software implementations in practice compute over finite-precision floating-point numbers. An open question is whether the IUA theorem still holds in the floating-point setting. This paper introduces the first IUA theorem for floating-point neural networks that proves their remarkable ability to perfectly capture the direct image map of any rounded target function $f$, showing no limits exist on their expressiveness. Our IUA theorem in the floating-point setting exhibits material differences from the real-valued setting, which reflects the fundamental distinctions between these two computational models. This theorem also implies surprising corollaries, which include (i) the existence of provably robust floating-point neural networks; and (ii) the computational completeness of the class of straight-line programs that use only floating-point additions and multiplications for the class of all floating-point programs that halt.
• Abstract（参考訳）: ニューラルネットワークの古典的普遍近似(UA)定理は、フィードフォワードニューラルネットワークが任意の精度で連続関数を$f$で近似できるような穏やかな条件を確立する。 最近の研究では、ニューラルネットワークは、インターバルドメインを用いたネットワークの抽象的な解釈意味論が、任意の精度で$f$(例えば、入力の集合に$f$を適用する結果)の直接画像マップを近似できるという意味で、より一般的なインターバル普遍近似(IUA)定理も享受していることを示している。 しかし、これらの定理はニューラルネットワークが無限に正確な実数を計算するという非現実的な仮定に基づいている。 オープンな疑問は、IUA定理が浮動小数点設定でまだ成り立つかどうかである。 本稿では,浮動小数点ニューラルネットワークに対する最初のIUA定理を提案する。 浮動小数点設定における我々のIUA定理は、これらの2つの計算モデル間の根本的な違いを反映した実数値設定と物質的差異を示す。 この定理はまた、驚きの行程を暗示している。 (i)証明可能な堅牢な浮動小数点ニューラルネットワークの存在、及び (2)浮動小数点加算のみを使用する一連の直線プログラムの計算完全性、および停止するすべての浮動小数点プログラムのクラスに対する乗法。

関連論文リスト

• Expressive Power of ReLU and Step Networks under Floating-Point Operations [11.29958155597398]
  二項しきい値単位またはReLUを用いたニューラルネットワークは、任意の有限入力/出力ペアを記憶可能であることを示す。 また,浮動小数点演算が有意および指数の両方に有限ビットを使用する場合,暗記および普遍近似に関する同様の結果を示す。
  論文  参考訳（メタデータ） (2024-01-26T05:59:40Z)
• Predictions Based on Pixel Data: Insights from PDEs and Finite Differences [0.0]
  本稿では,各観測が行列である時間列の近似を扱う。 比較的小さなネットワークでは、直線法に基づいて、PDEの数値的な離散化のクラスを正確に表現できることが示される。 我々のネットワークアーキテクチャは、典型的に時系列の近似に採用されているものから着想を得ている。
  論文  参考訳（メタデータ） (2023-05-01T08:54:45Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• A Point-Cloud Deep Learning Framework for Prediction of Fluid Flow Fields on Irregular Geometries [62.28265459308354]
  ネットワークは空間位置とCFD量のエンドツーエンドマッピングを学習する。 断面形状の異なるシリンダーを過ぎる非圧縮層状定常流を考察する。 ネットワークは従来のCFDの数百倍の速さで流れ場を予測する。
  論文  参考訳（メタデータ） (2020-10-15T12:15:02Z)
• Interval Universal Approximation for Neural Networks [47.767793120249095]
  区間普遍近似(IUA)定理を導入する。 IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。 本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
  論文  参考訳（メタデータ） (2020-07-12T20:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。