論文の概要: On Expressive Power of Quantized Neural Networks under Fixed-Point Arithmetic

• arxiv url: http://arxiv.org/abs/2409.00297v1
• Date: Fri, 30 Aug 2024 23:40:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 15:46:49.797300
• Title: On Expressive Power of Quantized Neural Networks under Fixed-Point Arithmetic
• Title（参考訳）: 固定点算術における量子ニューラルネットワークの表現力について
• Authors: Geonho Hwang, Yeachan Park, Sejun Park,
• Abstract要約: 本研究では、離散的な固定点パラメータとラウンドリングによる誤りを生じる可能性のある固定点演算の下で、量子化されたネットワークの普遍近似特性について検討する。 我々は,Sigmoid,ReLU,ELU,SoftPlus,SiLU,Mish,GELUなど,一般的なアクティベーション機能が私たちの十分な条件を満たすことを示す。
• 参考スコア（独自算出の注目度）: 10.903394804377898
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Research into the expressive power of neural networks typically considers real parameters and operations without rounding error. In this work, we study universal approximation property of quantized networks under discrete fixed-point parameters and fixed-point operations that may incur errors due to rounding. We first provide a necessary condition and a sufficient condition on fixed-point arithmetic and activation functions for universal approximation of quantized networks. Then, we show that various popular activation functions satisfy our sufficient condition, e.g., Sigmoid, ReLU, ELU, SoftPlus, SiLU, Mish, and GELU. In other words, networks using those activation functions are capable of universal approximation. We further show that our necessary condition and sufficient condition coincide under a mild condition on activation functions: e.g., for an activation function $\sigma$, there exists a fixed-point number $x$ such that $\sigma(x)=0$. Namely, we find a necessary and sufficient condition for a large class of activation functions. We lastly show that even quantized networks using binary weights in $\{-1,1\}$ can also universally approximate for practical activation functions.
• Abstract（参考訳）: ニューラルネットワークの表現力の研究は、通常、丸め誤差なしで実際のパラメータや操作を考える。 本研究では,離散的な固定点パラメータとラウンドリングによる誤りを生じる可能性のある固定点演算の下で,量子化されたネットワークの普遍近似特性について検討する。 まず、量子化されたネットワークの普遍近似のための固定点演算とアクティベーション関数に必要条件と十分な条件を提供する。 そこで本研究では,Sigmoid,ReLU,ELU,SoftPlus,SiLU,Mish,GELUなどの一般的なアクティベーション機能が,我々の十分な条件を満たすことを示す。 言い換えれば、これらのアクティベーション関数を用いたネットワークは、普遍的な近似が可能である。 例えば、活性化関数 $\sigma$ に対して、$\sigma(x)=0$ となるような固定点数 $x$ が存在する。 すなわち、大規模な活性化関数に対して必要かつ十分な条件を見つける。 最後に、$\{-1,1\}$の双対重みを用いた量子化ネットワークでさえ、実用的なアクティベーション関数に対して普遍的に近似できることを示す。

関連論文リスト

• Optimal approximation using complex-valued neural networks [0.0]
  複雑評価ニューラルネットワーク(CVNN)は最近、有望な経験的成功を示している。 CVNNの表現性を近似特性を用いて解析する。
  論文  参考訳（メタデータ） (2023-03-29T15:56:43Z)
• Function Approximation with Randomly Initialized Neural Networks for Approximate Model Reference Adaptive Control [0.0]
  近年の研究では、ReLUのような特殊活性化関数に対して、ランダムなアクティベーションの線形結合によって高い精度が得られることが示されている。 本稿では, 直接積分表現が知られていないアクティベーションを用いて, 対象関数の積分表現を形成する手段を提供する。
  論文  参考訳（メタデータ） (2023-03-28T18:55:48Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Data-aware customization of activation functions reduces neural network error [0.35172332086962865]
  本稿では,データ認識によるアクティベーション関数のカスタマイズにより,ニューラルネットワークのエラーが大幅に低減されることを示す。 既に精製されたニューラルネットワークにおけるカモメの活性化機能への簡単な置換は、エラーのオーダー・オブ・マグニチュードの低減につながる可能性がある。
  論文  参考訳（メタデータ） (2023-01-16T23:38:37Z)
• Benefits of Overparameterized Convolutional Residual Networks: Function Approximation under Smoothness Constraint [48.25573695787407]
  大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。 我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
  論文  参考訳（メタデータ） (2022-06-09T15:35:22Z)
• Uniform Approximation with Quadratic Neural Networks [0.0]
  ReQUを活性化したディープニューラルネットワークは、(R)-H'older-regular関数内の任意の関数を近似することができることを示す。 結果は (pgeq 2) の形式 (max(0,x)p) の任意の Rectified Power Unit (RePU) 活性化関数に簡単に一般化できる。
  論文  参考訳（メタデータ） (2022-01-11T02:26:55Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
  学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。 ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
  論文  参考訳（メタデータ） (2020-07-28T09:31:56Z)
• Interval Universal Approximation for Neural Networks [47.767793120249095]
  区間普遍近似(IUA)定理を導入する。 IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。 本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
  論文  参考訳（メタデータ） (2020-07-12T20:43:56Z)
• Minimum Width for Universal Approximation [91.02689252671291]
  我々は、$Lp$関数の普遍近似に必要な最小幅がちょうど$maxd_x+1,d_y$であることを証明する。 また、同じ結論がReLUと一様近似に当てはまるのではなく、追加のしきい値アクティベーション関数で成り立つことを証明している。
  論文  参考訳（メタデータ） (2020-06-16T01:24:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。