論文の概要: Learning the gravitational force law and other analytic functions
- arxiv url: http://arxiv.org/abs/2005.07724v1
- Date: Fri, 15 May 2020 18:11:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 22:44:45.873322
- Title: Learning the gravitational force law and other analytic functions
- Title（参考訳）: 重力力の法則と他の解析関数の学習
- Authors: Atish Agarwala, Abhimanyu Das, Rina Panigrahy, Qiuyi Zhang
- Abstract要約: 広帯域一重層ReLUネットワークは、関連する関数の微分に比例したサンプル数で解析関数を学習できることを示す。
一例として、ニュートンの重力法則によって与えられる多体重力関数の学習に明確な限界を証明している。
本稿では,多体重力関数が指数的アクティベーションを持つネットワークと比較して,ReLUネットワークで学習しやすいことを示す。
- 参考スコア（独自算出の注目度）: 12.673062890348312
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large neural network models have been successful in learning functions of
importance in many branches of science, including physics, chemistry and
biology. Recent theoretical work has shown explicit learning bounds for wide
networks and kernel methods on some simple classes of functions, but not on
more complex functions which arise in practice. We extend these techniques to
provide learning bounds for analytic functions on the sphere for any kernel
method or equivalent infinitely-wide network with the corresponding activation
function trained with SGD. We show that a wide, one-hidden layer ReLU network
can learn analytic functions with a number of samples proportional to the
derivative of a related function. Many functions important in the sciences are
therefore efficiently learnable. As an example, we prove explicit bounds on
learning the many-body gravitational force function given by Newton's law of
gravitation. Our theoretical bounds suggest that very wide ReLU networks (and
the corresponding NTK kernel) are better at learning analytic functions as
compared to kernel learning with Gaussian kernels. We present experimental
evidence that the many-body gravitational force function is easier to learn
with ReLU networks as compared to networks with exponential activations.
- Abstract（参考訳）: 大規模なニューラルネットワークモデルは、物理学、化学、生物学を含む科学の多くの分野において重要な機能を学ぶことに成功している。
最近の理論研究では、関数の単純なクラス上のネットワークやカーネルメソッドに対する明示的な学習境界が示されているが、実際にはより複雑な関数には適用されていない。
これらの手法を拡張して,任意のカーネル法や等価な無限大ネットワークに対する球上の解析関数の学習境界を,対応するsgdで訓練されたアクティベーション関数で提供する。
広帯域で1階層のreluネットワークは,関連する関数の導関数に比例する多数のサンプルを用いて解析関数を学習できることを示す。
したがって、科学において重要な多くの機能は効率的に学習可能である。
例えば、ニュートンの重力の法則によって与えられる多体重力関数の学習における明示的な境界を証明する。
我々の理論的境界は、非常に広いReLUネットワーク(および対応するNTKカーネル)がガウスカーネルによるカーネル学習と比較して解析関数の学習に優れていることを示唆している。
本稿では,多体重力関数が指数的アクティベーションを持つネットワークと比較して,ReLUネットワークで学習しやすいことを示す。
関連論文リスト
- DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。
DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。
経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
論文 参考訳（メタデータ） (2024-10-08T10:48:50Z) - Data-driven discovery of Green's functions [0.0]
この論文は、線形偏微分方程式に関連するグリーン関数を学習するための理論的結果とディープラーニングアルゴリズムを導入している。
この構成は、PDE学習と数値線型代数の分野を結びつける。
レーショナルニューラルネットワーク(NN)は、トレーニング可能な有理活性化機能を持つニューラルネットワークによって導入され、構成されている。
論文 参考訳（メタデータ） (2022-10-28T09:41:50Z) - Offline Reinforcement Learning with Differentiable Function
Approximation is Provably Efficient [65.08966446962845]
歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。
微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。
最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
論文 参考訳（メタデータ） (2022-10-03T07:59:42Z) - Benefits of Overparameterized Convolutional Residual Networks: Function
Approximation under Smoothness Constraint [48.25573695787407]
大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。
我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
論文 参考訳（メタデータ） (2022-06-09T15:35:22Z) - Optimal Approximation with Sparse Neural Networks and Applications [0.0]
深い疎結合ニューラルネットワークを用いて、関数クラスの複雑性を$L(mathbb Rd)$で測定する。
また、ニューラルネットワークを誘導する関数の可算コレクションである表現システムについても紹介する。
次に、レート歪曲理論とウェッジレット構成を用いて、$beta$マンガ的関数と呼ばれるクラスの複雑性を分析する。
論文 参考訳（メタデータ） (2021-08-14T05:14:13Z) - Towards Lower Bounds on the Depth of ReLU Neural Networks [7.355977594790584]
より多くの層を追加することで、正確に表現可能な関数のクラスが厳密に増加するかどうかを考察する。
We settled an old conjecture about piecewise linear function by Wang and Sun (2005) in affirmative。
対数深度を持つ関数を表すのに必要なニューラルネットワークのサイズについて上限を述べる。
論文 参考訳（メタデータ） (2021-05-31T09:49:14Z) - The Connection Between Approximation, Depth Separation and Learnability
in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。
対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文 参考訳（メタデータ） (2021-01-31T11:32:30Z) - A Use of Even Activation Functions in Neural Networks [0.35172332086962865]
本稿では,データ構造に関する既存の知識や仮説を統合するために,独自のアクティベーション関数を構築する方法を提案する。
完全に接続されたレイヤの1つで偶発的なアクティベーション関数を使用することで、ニューラルネットワークの性能が向上することを示す。
論文 参考訳（メタデータ） (2020-11-23T20:33:13Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳（メタデータ） (2020-11-09T18:32:22Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳（メタデータ） (2020-09-24T17:48:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。