論文の概要: A Rainbow in Deep Network Black Boxes

• arxiv url: http://arxiv.org/abs/2305.18512v1
• Date: Mon, 29 May 2023 17:09:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 19:56:12.829948
• Title: A Rainbow in Deep Network Black Boxes
• Title（参考訳）: ディープネットワークブラックボックスの虹
• Authors: Florentin Guth, Brice M\'enard, Gaspar Rochette, St\'ephane Mallat
• Abstract要約: トレーニングされた深層ニューラルネットワークの確率モデルとしてレインボーネットワークを導入する。 モデルは、重量分布が学習されるランダムな特徴写像をカスケードする。 レインボーネットワークは、白いランダムな特徴を持つ線形次元還元と非線形高次元埋め込みを交互に行う。
• 参考スコア（独自算出の注目度）: 2.778306069126391
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce rainbow networks as a probabilistic model of trained deep neural networks. The model cascades random feature maps whose weight distributions are learned. It assumes that dependencies between weights at different layers are reduced to rotations which align the input activations. Neuron weights within a layer are independent after this alignment. Their activations define kernels which become deterministic in the infinite-width limit. This is verified numerically for ResNets trained on the ImageNet dataset. We also show that the learned weight distributions have low-rank covariances. Rainbow networks thus alternate between linear dimension reductions and non-linear high-dimensional embeddings with white random features. Gaussian rainbow networks are defined with Gaussian weight distributions. These models are validated numerically on image classification on the CIFAR-10 dataset, with wavelet scattering networks. We further show that during training, SGD updates the weight covariances while mostly preserving the Gaussian initialization.
• Abstract（参考訳）: トレーニングされた深層ニューラルネットワークの確率モデルとしてレインボーネットワークを導入する。 モデルは、体重分布が学習されるランダム特徴マップをカスケードする。 異なる層の重み間の依存関係は、入力活性化を整列する回転に還元されると仮定する。 このアライメントの後、層内のニューロンの重みは独立している。 彼らの活性化は無限幅極限において決定論的となるカーネルを定義する。 これはimagenetデータセットでトレーニングされたresnetに対して数値的に検証される。 また,学習重量分布は低ランク共分散を有することを示した。 したがって、レインボーネットワークは、白いランダムな特徴を持つ線形次元還元と非線形高次元埋め込みを交互に行う。 ガウスの虹網はガウスの重量分布で定義される。 これらのモデルは、ウェーブレット散乱ネットワークを用いて、CIFAR-10データセットの画像分類に基づいて数値的に検証される。 さらに, トレーニング中, sgd はガウス初期化を維持しつつ, 重み共分散を更新できることを示した。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
  機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。 いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
  論文  参考訳（メタデータ） (2024-02-21T18:35:27Z)
• Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
  様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。 トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。 しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
  論文  参考訳（メタデータ） (2023-05-28T17:09:32Z)
• Depth Degeneracy in Neural Networks: Vanishing Angles in Fully Connected ReLU Networks on Initialization [5.678271181959529]
  層数の関数としてReLUニューラルネットワークへの2つの入力間の角度の進化について検討する。 モンテカルロ実験を用いて理論的結果を検証し, 有限ネットワークの挙動を正確に近似することを示した。 また,深度縮退現象が実際のネットワークのトレーニングに悪影響を及ぼすかを実証的に検討した。
  論文  参考訳（メタデータ） (2023-02-20T01:30:27Z)
• Computational Complexity of Learning Neural Networks: Smoothness and Degeneracy [52.40331776572531]
  ガウス入力分布下での学習深度3$ReLUネットワークはスムーズな解析フレームワークにおいても困難であることを示す。 この結果は, 局所擬似乱数発生器の存在についてよく研究されている。
  論文  参考訳（メタデータ） (2023-02-15T02:00:26Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
  我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。 この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。 画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
  論文  参考訳（メタデータ） (2020-06-29T17:59:26Z)
• One-vs-Rest Network-based Deep Probability Model for Open Set Recognition [6.85316573653194]
  インテリジェントな自己学習システムは、既知の例と未知の例を区別することができるべきである。 1-vs-restネットワークは、よく使われるSoftMaxレイヤよりも、未知の例に対して、より有益な隠れ表現を提供することができる。 提案した確率モデルは、オープンセットの分類シナリオにおいて最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-04-17T05:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。