論文の概要: A Rainbow in Deep Network Black Boxes
- arxiv url: http://arxiv.org/abs/2305.18512v1
- Date: Mon, 29 May 2023 17:09:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 19:56:12.829948
- Title: A Rainbow in Deep Network Black Boxes
- Title(参考訳): ディープネットワークブラックボックスの虹
- Authors: Florentin Guth, Brice M\'enard, Gaspar Rochette, St\'ephane Mallat
- Abstract要約: トレーニングされた深層ニューラルネットワークの確率モデルとしてレインボーネットワークを導入する。
モデルは、重量分布が学習されるランダムな特徴写像をカスケードする。
レインボーネットワークは、白いランダムな特徴を持つ線形次元還元と非線形高次元埋め込みを交互に行う。
- 参考スコア(独自算出の注目度): 2.778306069126391
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce rainbow networks as a probabilistic model of trained deep neural
networks. The model cascades random feature maps whose weight distributions are
learned. It assumes that dependencies between weights at different layers are
reduced to rotations which align the input activations. Neuron weights within a
layer are independent after this alignment. Their activations define kernels
which become deterministic in the infinite-width limit. This is verified
numerically for ResNets trained on the ImageNet dataset. We also show that the
learned weight distributions have low-rank covariances. Rainbow networks thus
alternate between linear dimension reductions and non-linear high-dimensional
embeddings with white random features. Gaussian rainbow networks are defined
with Gaussian weight distributions. These models are validated numerically on
image classification on the CIFAR-10 dataset, with wavelet scattering networks.
We further show that during training, SGD updates the weight covariances while
mostly preserving the Gaussian initialization.
- Abstract(参考訳): トレーニングされた深層ニューラルネットワークの確率モデルとしてレインボーネットワークを導入する。
モデルは、体重分布が学習されるランダム特徴マップをカスケードする。
異なる層の重み間の依存関係は、入力活性化を整列する回転に還元されると仮定する。
このアライメントの後、層内のニューロンの重みは独立している。
彼らの活性化は無限幅極限において決定論的となるカーネルを定義する。
これはimagenetデータセットでトレーニングされたresnetに対して数値的に検証される。
また,学習重量分布は低ランク共分散を有することを示した。
したがって、レインボーネットワークは、白いランダムな特徴を持つ線形次元還元と非線形高次元埋め込みを交互に行う。
ガウスの虹網はガウスの重量分布で定義される。
これらのモデルは、ウェーブレット散乱ネットワークを用いて、CIFAR-10データセットの画像分類に基づいて数値的に検証される。
さらに, トレーニング中, sgd はガウス初期化を維持しつつ, 重み共分散を更新できることを示した。
関連論文リスト
- Asymptotics of Learning with Deep Structured (Random) Features [8.593775080183708]
機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。
いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
論文 参考訳(メタデータ) (2024-02-21T18:35:27Z) - Improved Generalization of Weight Space Networks via Augmentations [56.571475005291035]
深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用
我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。
そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
論文 参考訳(メタデータ) (2024-02-06T15:34:44Z) - Beyond IID weights: sparse and low-rank deep Neural Networks are also
Gaussian Processes [4.14360329494344]
我々は Matthews らの証明を、より大きな初期重み分布のクラスに拡張する。
また,PSEUDO-IID分布を用いた完全連結・畳み込みネットワークは,その分散にほぼ等価であることを示す。
論文 参考訳(メタデータ) (2023-10-25T12:38:36Z) - Computational Complexity of Learning Neural Networks: Smoothness and
Degeneracy [52.40331776572531]
ガウス入力分布下での学習深度3$ReLUネットワークはスムーズな解析フレームワークにおいても困難であることを示す。
この結果は, 局所擬似乱数発生器の存在についてよく研究されている。
論文 参考訳(メタデータ) (2023-02-15T02:00:26Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳(メタデータ) (2022-12-29T20:57:46Z) - The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich
Regimes [75.59720049837459]
無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。
有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
論文 参考訳(メタデータ) (2022-12-23T04:48:04Z) - Spectral Bias Outside the Training Set for Deep Networks in the Kernel
Regime [0.0]
ネットワークは、トレーニングセットだけでなく、入力空間全体にわたって、ニューラルネットワークの上位固有関数を学習するために偏りがあることが示される。
このバイアスはモデルアーキテクチャと入力分布のみに依存する。
我々は,漁業情報マトリックスの低効率な位置からの局所的な容量制御は理論的には未熟である,と結論づける。
論文 参考訳(メタデータ) (2022-06-06T22:09:15Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳(メタデータ) (2022-05-18T16:57:10Z) - Disentangling deep neural networks with rectified linear units using
duality [4.683806391173103]
線形整流ユニット(ReLU)を用いたディープニューラルネットワーク(DNN)の解釈可能な新しい実装を提案する。
我々は、大域プールとスキップ接続との畳み込みが、それぞれ回転不変性とアンサンブル構造をニューラルパスカーネル(NPK)にもたらすことを示す。
論文 参考訳(メタデータ) (2021-10-06T16:51:59Z) - Kalman Bayesian Neural Networks for Closed-form Online Learning [5.220940151628734]
閉形式ベイズ推論によるBNN学習のための新しい手法を提案する。
出力の予測分布の計算と重み分布の更新をベイズフィルタおよび平滑化問題として扱う。
これにより、勾配降下のないシーケンシャル/オンライン方式でネットワークパラメータをトレーニングするためのクローズドフォーム表現が可能になる。
論文 参考訳(メタデータ) (2021-10-03T07:29:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。