論文の概要: Structure of universal formulas

• arxiv url: http://arxiv.org/abs/2311.03910v1
• Date: Tue, 7 Nov 2023 11:50:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 15:47:15.328552
• Title: Structure of universal formulas
• Title（参考訳）: 普遍式の構造
• Authors: Dmitry Yarotsky
• Abstract要約: 本稿では,大域近似特性と無限VC次元の弱い性質を結合するクラス階層を導入する。 活性化するニューロンの層が1つ以上ある固定サイズニューラルネットワークは任意の有限集合上の関数を近似できないことを示す。 任意の有限集合上の関数を近似する2層ニューラルネットワークを含む関数族を例に挙げるが、定義領域全体においてそれを行うことができない。
• 参考スコア（独自算出の注目度）: 13.794391803767617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: By universal formulas we understand parameterized analytic expressions that have a fixed complexity, but nevertheless can approximate any continuous function on a compact set. There exist various examples of such formulas, including some in the form of neural networks. In this paper we analyze the essential structural elements of these highly expressive models. We introduce a hierarchy of expressiveness classes connecting the global approximability property to the weaker property of infinite VC dimension, and prove a series of classification results for several increasingly complex functional families. In particular, we introduce a general family of polynomially-exponentially-algebraic functions that, as we prove, is subject to polynomial constraints. As a consequence, we show that fixed-size neural networks with not more than one layer of neurons having transcendental activations (e.g., sine or standard sigmoid) cannot in general approximate functions on arbitrary finite sets. On the other hand, we give examples of functional families, including two-hidden-layer neural networks, that approximate functions on arbitrary finite sets, but fail to do that on the whole domain of definition.
• Abstract（参考訳）: 普遍公式により、固定された複雑性を持つがコンパクト集合上の任意の連続函数を近似するパラメータ化された解析式を理解する。 このような公式には、ニューラルネットワークの形式を含む様々な例がある。 本稿では,これらの高表現性モデルの本質的構造要素を解析する。 我々は,大域的近似性と無限vc次元の弱い性質をつなぐ表現性クラスの階層を導入し,複雑化する関数群に対する一連の分類結果を証明する。 特に、多項式的指数代数関数の一般族を導入し、証明したように多項式制約を受ける。 その結果、超越的活性化(例えば、正弦波や標準シグモイド)を持つニューロンの1層以上を有する固定サイズニューラルネットワークは、任意の有限集合上の一般の近似関数では不可能であることがわかった。 一方、任意の有限集合上の関数を近似する2層ニューラルネットワークを含む関数族を例に挙げるが、定義領域全体においてそれを行うことができない。

関連論文リスト

• Deep Neural Networks and Finite Elements of Any Order on Arbitrary Dimensions [2.7195102129095003]
  ReLUとReLU$2$の活性化関数を用いたディープニューラルネットワークは、任意の次元の様々な単純メッシュ上の任意の順序のラグランジュ有限要素関数を効果的に表現することができる。 我々の研究は、ディープニューラルネットワークが特定のまたは任意の単純化メッシュ上で、汎用的な連続的な関数を体系的に生成する方法を示す最初のデモンストレーションである。
  論文  参考訳（メタデータ） (2023-12-21T19:57:29Z)
• Bayes Complexity of Learners vs Overfitting [4.873362301533825]
  関数の複雑性という新しい概念が、PACベイズのような一般化境界を支配していることを示す。 従来の研究とは対照的に、我々は自然に複数の層を持つニューラルネットワークに一般化している。 上界の導出により、2層と4層ニューラルネットワークの良好な一般化に必要なサンプル数の分離が図れる。
  論文  参考訳（メタデータ） (2023-03-13T13:07:02Z)
• Qualitative neural network approximation over R and C: Elementary proofs for analytic and polynomial activation [0.0]
  解析的アクティベーション関数を持つ深部ニューラルネットワークと浅部ニューラルネットワークのクラスで近似を証明した。 活性化関数を持つ大深度ネットワークの完全連結および残留ネットワークは,任意の幅要件下で近似可能であることを示す。
  論文  参考訳（メタデータ） (2022-03-25T01:36:13Z)
• Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
  単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。 単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
  論文  参考訳（メタデータ） (2021-10-28T14:59:41Z)
• Bilinear Classes: A Structural Framework for Provable Generalization in RL [119.42509700822484]
  Bilinear Classesは強化学習の一般化を可能にする新しい構造フレームワークである。 このフレームワークは、サンプルの複雑さが達成可能な、ほとんどすべての既存のモデルを取り込んでいる。 我々の主な成果は、双線形クラスのためのサンプル複雑性を持つRLアルゴリズムである。
  論文  参考訳（メタデータ） (2021-03-19T16:34:20Z)
• The universal approximation theorem for complex-valued neural networks [0.0]
  ニューラルネットワークの古典的普遍近似を複素数値ニューラルネットワークの場合に一般化する。 複雑な活性化関数 $sigma : mathbbC to mathbbC$ のフィードフォワードネットワークを考える。各ニューロンが mathbbCN to mathbbC, z mapto sigma(b + wT z)$ を演算し、 mathbbCN$ の重みが $w で、数学の偏りが $b である。
  論文  参考訳（メタデータ） (2020-12-06T18:51:10Z)
• Finite-Function-Encoding Quantum States [52.77024349608834]
  任意の$d$値論理関数を符号化する有限関数符号化(FFE)を導入する。 それらの構造的特性について検討する。
  論文  参考訳（メタデータ） (2020-12-01T13:53:23Z)
• UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
  学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。 ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
  論文  参考訳（メタデータ） (2020-07-28T09:31:56Z)
• Coupling-based Invertible Neural Networks Are Universal Diffeomorphism Approximators [72.62940905965267]
  結合フロー(CF-INN)に基づく可逆ニューラルネットワークは、画像合成や表現学習など、さまざまな機械学習応用を有する。 CF-INNは可逆関数に対する普遍近似器か? 我々は、ある微分同相類に対する普遍性の同値性を示す一般的な定理を証明する。
  論文  参考訳（メタデータ） (2020-06-20T02:07:37Z)
• PDE constraints on smooth hierarchical functions computed by neural networks [0.0]
  ディープニューラルネットワーク理論における重要な問題は、表現性である。 フィードフォワードニューラルネットワークによって実装された実無限微分可能(滑らか)階層関数について検討する。 このようなPDE制約は、一旦適切な非特異性条件を伴って、考慮中の滑らかな関数をネットワークで表現できることを保証する。
  論文  参考訳（メタデータ） (2020-05-18T16:34:11Z)
• Invariant Feature Coding using Tensor Product Representation [75.62232699377877]
  我々は,群不変特徴ベクトルが線形分類器を学習する際に十分な識別情報を含んでいることを証明した。 主成分分析やk平均クラスタリングにおいて,グループアクションを明示的に考慮する新たな特徴モデルを提案する。
  論文  参考訳（メタデータ） (2019-06-05T07:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。