論文の概要: Approximation of functions with one-bit neural networks

• arxiv url: http://arxiv.org/abs/2112.09181v1
• Date: Thu, 16 Dec 2021 20:10:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-21 05:00:55.385147
• Title: Approximation of functions with one-bit neural networks
• Title（参考訳）: 1ビットニューラルネットワークによる関数の近似
• Authors: C. Sinan G\"unt\"urk, Weilin Li
• Abstract要約: 任意の滑らかな多変量関数は、適切な粗い量子化ニューラルネットワークによって任意に近似できることを示す。 我々はベルンシュタインを用いた関数の近似、ベルンシュタインに基づく雑音形量子化、粗い量子化ニューラルネットワークによるベルンシュタインの実装に関する新しい結果を証明した。
• 参考スコア（独自算出の注目度）: 2.538209532048867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper examines the approximation capabilities of coarsely quantized neural networks -- those whose parameters are selected from a small set of allowable values. We show that any smooth multivariate function can be arbitrarily well approximated by an appropriate coarsely quantized neural network and provide a quantitative approximation rate. For the quadratic activation, this can be done with only a one-bit alphabet; for the ReLU activation, we use a three-bit alphabet. The main theorems rely on important properties of Bernstein polynomials. We prove new results on approximation of functions with Bernstein polynomials, noise-shaping quantization on the Bernstein basis, and implementation of the Bernstein polynomials by coarsely quantized neural networks.
• Abstract（参考訳）: 本稿では、粗い量子化されたニューラルネットワークの近似能力について検討する。 任意の滑らかな多変量関数は、適切な粗量子化ニューラルネットワークによって任意に近似することができ、定量的近似率が得られることを示す。 二次的なアクティベーションでは、これは1ビットのアルファベットだけで行うことができ、ReLUアクティベーションでは3ビットのアルファベットを使用する。 主な定理はベルンシュタイン多項式の重要な性質に依存する。 本稿では,ベルンシュタイン多項式を用いた関数近似,ベルンシュタイン基底による雑音形量子化,粗量子化ニューラルネットワークによるベルンシュタイン多項式の実装に関する新しい結果を示す。

関連論文リスト

• A Simple Solution for Homomorphic Evaluation on Large Intervals [0.0]
  ホモモルフィック暗号化(HE)は、プライバシー保護計算に使用される有望な手法である。 非ポリノミカル関数の近似の同型評価は、プライバシ保存機械学習において重要な役割を果たす。 我々は,任意の関数を近似する簡単な解を導入する。
  論文  参考訳（メタデータ） (2024-05-24T04:13:22Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Power and limitations of single-qubit native quantum neural networks [5.526775342940154]
  量子ニューラルネットワーク(QNN)は、機械学習、化学、最適化の応用を確立するための主要な戦略として登場した。 量子ニューラルネットワークのデータ再アップロードの表現能力に関する理論的枠組みを定式化する。
  論文  参考訳（メタデータ） (2022-05-16T17:58:27Z)
• Deep neural networks for smooth approximation of physics with higher order and continuity B-spline base functions [0.4588028371034407]
  伝統的に、ニューラルネットワークは、与えられた物理現象を近似するために非線形活性化関数を使用する。 そこで本研究では, 物理量を滑らかなB-スプライン基底関数の線形結合として近似する手法を提案する。 物理場を近似する場合,我々のアプローチはより安価で正確であることを示す。
  論文  参考訳（メタデータ） (2022-01-03T23:02:39Z)
• Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
  2層ニューラルネットワークによる関数近似について検討する。 この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-14T03:03:56Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)
• Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
  低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。 本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
  論文  参考訳（メタデータ） (2020-09-18T09:13:26Z)
• Variational Monte Carlo calculations of $\mathbf{A\leq 4}$ nuclei with an artificial neural-network correlator ansatz [62.997667081978825]
  光核の基底状態波動関数をモデル化するためのニューラルネットワーク量子状態アンサッツを導入する。 我々は、Aleq 4$核の結合エネルギーと点核密度を、上位のピオンレス実効場理論から生じるものとして計算する。
  論文  参考訳（メタデータ） (2020-07-28T14:52:28Z)
• Recurrent Quantum Neural Networks [7.6146285961466]
  リカレントニューラルネットワークは、機械学習における多くのシーケンス対シーケンスモデルの基盤となっている。 非自明なタスクに対して実証可能な性能を持つ量子リカレントニューラルネットワーク(QRNN)を構築する。 我々はQRNNをMNIST分類で評価し、QRNNに各画像ピクセルを供給し、また、最新のデータ拡張を前処理のステップとして利用する。
  論文  参考訳（メタデータ） (2020-06-25T17:59:44Z)
• Formal Synthesis of Lyapunov Neural Networks [61.79595926825511]
  本稿では,リアプノフ関数の自動合成法を提案する。 我々は,数値学習者と記号検証器が相互作用して,確実に正しいリアプノフニューラルネットワークを構築する,反例誘導方式を採用する。 提案手法は,Lyapunov関数を他の手法よりも高速かつ広い空間領域で合成する。
  論文  参考訳（メタデータ） (2020-03-19T17:21:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。