論文の概要: Sampling weights of deep neural networks
- arxiv url: http://arxiv.org/abs/2306.16830v1
- Date: Thu, 29 Jun 2023 10:13:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-30 13:59:36.587025
- Title: Sampling weights of deep neural networks
- Title（参考訳）: ディープニューラルネットワークのサンプリング重み
- Authors: Erik Lien Bolager and Iryna Burak and Chinmay Datar and Qing Sun and
Felix Dietrich
- Abstract要約: 完全に接続されたニューラルネットワークの重みとバイアスに対して,効率的なサンプリングアルゴリズムと組み合わせた確率分布を導入する。
我々は、教師付き学習問題の入力と出力のトレーニングデータの両方を用いて、浅いネットワークと深いネットワークの両方をサンプリングする。
- 参考スコア（独自算出の注目度）: 1.222038079043941
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a probability distribution, combined with an efficient sampling
algorithm, for weights and biases of fully-connected neural networks. In a
supervised learning context, no iterative optimization or gradient computations
of internal network parameters are needed to obtain a trained network. The
sampling is based on the idea of random feature models. However, instead of a
data-agnostic distribution, e.g., a normal distribution, we use both the input
and the output training data of the supervised learning problem to sample both
shallow and deep networks. We prove that the sampled networks we construct are
universal approximators. We also show that our sampling scheme is invariant to
rigid body transformations and scaling of the input data. This implies many
popular pre-processing techniques are no longer required. For Barron functions,
we show that the $L^2$-approximation error of sampled shallow networks
decreases with the square root of the number of neurons. In numerical
experiments, we demonstrate that sampled networks achieve comparable accuracy
as iteratively trained ones, but can be constructed orders of magnitude faster.
Our test cases involve a classification benchmark from OpenML, sampling of
neural operators to represent maps in function spaces, and transfer learning
using well-known architectures.
- Abstract（参考訳）: 完全連結ニューラルネットワークの重みとバイアスに対して,効率的なサンプリングアルゴリズムと組み合わせた確率分布を導入する。
教師付き学習では、トレーニングされたネットワークを得るために、内部ネットワークパラメータの反復最適化や勾配計算は不要である。
サンプリングはランダム特徴モデルのアイデアに基づいている。
しかし、例えば正規分布のようなデータ非依存分布の代わりに、教師付き学習問題の入力データと出力トレーニングデータの両方を使用して、浅層ネットワークと深層ネットワークの両方をサンプリングする。
構築したサンプルネットワークが普遍近似であることを示す。
また,本手法は剛体変換や入力データのスケーリングに不変であることを示す。
これは、多くの一般的な前処理技術がもはや不要であることを意味する。
バロン関数の場合、サンプリングされた浅層ネットワークの$L^2$-approximation誤差はニューロン数の平方根によって減少する。
数値実験では、サンプルネットワークは反復的に訓練されたネットワークと同等の精度を達成できるが、桁違いに高速に構築できることを示した。
テストケースでは、OpenMLの分類ベンチマーク、関数空間内のマップを表すニューラル演算子のサンプリング、よく知られたアーキテクチャを用いたトランスファー学習を含む。
関連論文リスト
- Residual Random Neural Networks [0.0]
ランダムな重みを持つ単層フィードフォワードニューラルネットワークは、ニューラルネットワークの文献の中で繰り返されるモチーフである。
隠れたニューロンの数がデータサンプルの次元と等しくない場合でも,優れた分類結果が得られることを示す。
論文 参考訳（メタデータ） (2024-10-25T22:00:11Z) - On the Convergence of Locally Adaptive and Scalable Diffusion-Based Sampling Methods for Deep Bayesian Neural Network Posteriors [2.3265565167163906]
ベイズニューラルネットワークは、ディープニューラルネットワークにおける不確実性をモデル化するための有望なアプローチである。
ニューラルネットワークの 後部分布からサンプルを生成することは 大きな課題です
この方向の進歩の1つは、モンテカルロ・マルコフ連鎖サンプリングアルゴリズムへの適応的なステップサイズの導入である。
本稿では,これらの手法が,ステップサイズやバッチサイズが小さくても,サンプリングした分布にかなりの偏りがあることを実証する。
論文 参考訳（メタデータ） (2024-03-13T15:21:14Z) - Expressive probabilistic sampling in recurrent neural networks [4.3900330990701235]
本稿では, 任意の確率分布から, 出力単位を分離した再帰型ニューラルネットワークの発火速度のダイナミクスをサンプリングできることを示す。
本稿では, RSNがLangevinサンプリングを実装しているような繰り返しおよび出力重みを求める, スコアマッチングに基づく効率的なトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-08-22T22:20:39Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - Is Stochastic Gradient Descent Near Optimal? [0.0]
本研究では,多数のサンプルとクエリの総数を用いて,勾配勾配勾配の誤差が小さいことを示す。
このことは、SGDがJoen & Van Roy (arXiv:2203.00246) の情報理論的なサンプル複雑性境界を計算的に効率よく達成していることを示唆している。
論文 参考訳（メタデータ） (2022-09-18T18:26:43Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。
粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
論文 参考訳（メタデータ） (2021-10-06T16:58:34Z) - Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data
via Differentiable Cross-Approximation [53.95297550117153]
本稿では,大規模な視覚データテンソルの処理を行うエンドツーエンドのトレーニング可能なフレームワークを提案する。
提案手法は大規模多次元グリッドデータや,大規模受容領域上のコンテキストを必要とするタスクに特に有用である。
論文 参考訳（メタデータ） (2021-05-29T08:39:57Z) - How Powerful are Shallow Neural Networks with Bandlimited Random
Weights? [25.102870584507244]
制限深度2バンドランダムニューラルネットワークの表現力について検討する。
ランダムネットは、隠れた層パラメータがランダムな帯域幅で凍結されるニューラルネットワークである。
論文 参考訳（メタデータ） (2020-08-19T13:26:12Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳（メタデータ） (2020-06-24T02:44:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。