Fugu-MT 論文翻訳(概要): Expressive Power of ReLU and Step Networks under Floating-Point Operations

論文の概要: Expressive Power of ReLU and Step Networks under Floating-Point Operations

arxiv url: http://arxiv.org/abs/2401.15121v2
Date: Tue, 16 Jul 2024 01:00:31 GMT
ステータス: 処理完了
システム内更新日: 2024-07-17 23:30:59.751183
Title: Expressive Power of ReLU and Step Networks under Floating-Point Operations
Title（参考訳）: 浮動小数点演算におけるReLUとステップネットワークの表現力
Authors: Yeachan Park, Geonho Hwang, Wonyeol Lee, Sejun Park,
Abstract要約: 二項しきい値単位またはReLUを用いたニューラルネットワークは、任意の有限入力/出力ペアを記憶可能であることを示す。また,浮動小数点演算が有意および指数の両方に有限ビットを使用する場合,暗記および普遍近似に関する同様の結果を示す。
参考スコア（独自算出の注目度）: 11.29958155597398
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The study of the expressive power of neural networks has investigated the fundamental limits of neural networks. Most existing results assume real-valued inputs and parameters as well as exact operations during the evaluation of neural networks. However, neural networks are typically executed on computers that can only represent a tiny subset of the reals and apply inexact operations, i.e., most existing results do not apply to neural networks used in practice. In this work, we analyze the expressive power of neural networks under a more realistic setup: when we use floating-point numbers and operations as in practice. Our first set of results assumes floating-point operations where the significand of a float is represented by finite bits but its exponent can take any integer value. Under this setup, we show that neural networks using a binary threshold unit or ReLU can memorize any finite input/output pairs and can approximate any continuous function within an arbitrary error. In particular, the number of parameters in our constructions for universal approximation and memorization coincides with that in classical results assuming exact mathematical operations. We also show similar results on memorization and universal approximation when floating-point operations use finite bits for both significand and exponent; these results are applicable to many popular floating-point formats such as those defined in the IEEE 754 standard (e.g., 32-bit single-precision format) and bfloat16.
Abstract（参考訳）: ニューラルネットワークの表現力の研究は、ニューラルネットワークの基本的限界について研究してきた。既存の結果の多くは、実数値入力とパラメータと、ニューラルネットワークの評価中の正確な操作を仮定している。しかしながら、ニューラルネットワークは通常、実数のごく一部しか表現できないコンピュータ上で実行され、不正確な操作を適用する。本研究では、実際に浮動小数点数と演算を使用する場合のニューラルネットワークの表現力について、より現実的な設定で分析する。最初の結果の集合は浮動小数点演算を仮定し、浮動小数点演算は有限ビットで表されるが、指数関数は任意の整数値を取ることができる。この設定では、バイナリしきい値単位またはReLUを用いたニューラルネットワークが有限入力/出力ペアを記憶し、任意の誤差内で連続関数を近似することができることを示す。特に、普遍近似と記憶のための構成におけるパラメータの数は、正確な数学的操作を仮定する古典的な結果と一致する。また,浮動小数点演算が有意および指数の両方に有限ビットを使用する場合の記憶と普遍近似についても同様の結果を示す。これらの結果はIEEE 754規格(例えば,32ビット単精度フォーマット)やbfloat16など,多くの一般的な浮動小数点形式に適用できる。

関連論文リスト

Predictions Based on Pixel Data: Insights from PDEs and Finite Differences [0.0]
本稿では,各観測が行列である時間列の近似を扱う。比較的小さなネットワークでは、直線法に基づいて、PDEの数値的な離散化のクラスを正確に表現できることが示される。我々のネットワークアーキテクチャは、典型的に時系列の近似に採用されているものから着想を得ている。
論文参考訳（メタデータ） (2023-05-01T08:54:45Z)
Memorization Capacity of Neural Networks with Conditional Computation [14.048989759890475]
我々は,$O(sqrtn)$ニューロンを用いたニューラルネットワークを用いて,$n$の入力出力関係の集合を記憶できることを実証した。条件付きReLUネットワークを用いて,入力あたりのO(log n)$演算のみを用いて同じタスクを実現できることを示す。
論文参考訳（メタデータ） (2023-03-20T16:33:17Z)
Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
論文参考訳（メタデータ） (2023-03-09T10:08:34Z)
Fixed-Point Code Synthesis For Neural Networks [0.0]
固定点算術を用いて、すでに訓練済みのニューラルネットワークのフォーマット(精度)を調整するための新しい手法が導入された。新たな最適化されたニューラルネットワークは、ユーザによって固定されたしきい値まで精度を変更することなく、その出力を固定点数で計算する。
論文参考訳（メタデータ） (2022-02-04T12:02:54Z)
Statistically Meaningful Approximation: a Case Study on Approximating Turing Machines with Transformers [50.85524803885483]
本研究は,統計的学習性を示すために近似ネットワークを必要とする統計有意(SM)近似の形式的定義を提案する。回路とチューリングマシンの2つの機能クラスに対するSM近似について検討する。
論文参考訳（メタデータ） (2021-07-28T04:28:55Z)
The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文参考訳（メタデータ） (2021-01-31T11:32:30Z)
Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文参考訳（メタデータ） (2020-12-31T18:48:58Z)
Deep Neural Network Training without Multiplications [0.0]
ResNetはこの操作を競合する分類精度で訓練できることを示す。この方法は、ディープニューラルネットワークトレーニングと推論における乗算の排除を可能にする。
論文参考訳（メタデータ） (2020-12-07T05:40:50Z)
NITI: Training Integer Neural Networks Using Integer-only Arithmetic [4.361357921751159]
我々は,整数演算のみを用いて計算を行う,効率的なディープニューラルネットワークトレーニングフレームワークであるNITIを提案する。ネイティブ8ビット整数演算を用いたNITIの概念実証ソフトウェア実装について述べる。 NITIは8ビット整数ストレージと計算を用いてMNISTとCIFAR10データセットの無視可能な精度劣化を実現する。
論文参考訳（メタデータ） (2020-09-28T07:41:36Z)
Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文参考訳（メタデータ） (2020-06-21T08:23:03Z)
Neural Arithmetic Units [84.65228064780744]
ニューラルネットワークは複雑な関数を近似することができるが、実数に対して正確な算術演算を行うのに苦労する。ニューラルネットワークコンポーネントとして、正確な加算と減算を学習可能なニューラル加算ユニット(NAU)と、ベクトルのサブセットを乗算可能なニューラル乗算ユニット(NMU)がある。提案したユニットNAUとNMUは、従来のニューラルネットワークユニットと比較して、より一貫して収束し、パラメータを少なくし、より速く学習し、より大きな隠れたサイズに収束し、スパースと意味のある重みを得、負の値と小さな値に外挿することができる。
論文参考訳（メタデータ） (2020-01-14T19:35:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。