論文の概要: Asymptotics of Learning with Deep Structured (Random) Features

• arxiv url: http://arxiv.org/abs/2402.13999v2
• Date: Mon, 10 Jun 2024 10:16:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 01:23:27.618029
• Title: Asymptotics of Learning with Deep Structured (Random) Features
• Title（参考訳）: 深層構造(ランドム)特徴による学習の漸近
• Authors: Dominik Schröder, Daniil Dmitriev, Hugo Cui, Bruno Loureiro,
• Abstract要約: 機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。 いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
• 参考スコア（独自算出の注目度）: 9.366617422860543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For a large class of feature maps we provide a tight asymptotic characterisation of the test error associated with learning the readout layer, in the high-dimensional limit where the input dimension, hidden layer widths, and number of training samples are proportionally large. This characterization is formulated in terms of the population covariance of the features. Our work is partially motivated by the problem of learning with Gaussian rainbow neural networks, namely deep non-linear fully-connected networks with random but structured weights, whose row-wise covariances are further allowed to depend on the weights of previous layers. For such networks we also derive a closed-form formula for the feature covariance in terms of the weight matrices. We further find that in some cases our results can capture feature maps learned by deep, finite-width neural networks trained under gradient descent.
• Abstract（参考訳）: 多数の特徴写像に対して、入力次元、隠蔽層幅、トレーニングサンプル数が比例的に大きい高次元極限において、読み出し層を学習する際のテストエラーの厳密な漸近的特徴付けを提供する。 この特徴は、特徴の集団的共分散の観点から定式化されている。 我々の研究は、ガウスのレインボーニューラルネットワーク(すなわち、ランダムだが構造化された重みを持つ深い非線形完全連結ネットワーク)で学習する問題によって部分的に動機付けられており、行方向の共分散は、以前の階層の重みに依存することがより許される。 そのようなネットワークに対しては、重み行列の観点から特徴共分散の閉形式公式も導出する。 さらに、いくつかのケースでは、勾配降下下で訓練された深い有限幅ニューラルネットワークによって学習された特徴マップをキャプチャできる。

関連論文リスト

• Feature learning in finite-width Bayesian deep linear networks with multiple outputs and convolutional layers [39.71511919246829]
  深い線形ネットワークは広く研究されているが、複数の出力と畳み込み層を持つ有限幅アーキテクチャの場合はほとんど知られていない。 我々の研究は、この物理学の直観と用語を厳密なベイズ統計に翻訳する辞書を提供する。
  論文  参考訳（メタデータ） (2024-06-05T13:37:42Z)
• Wide Neural Networks as Gaussian Processes: Lessons from Deep Equilibrium Models [16.07760622196666]
  本研究では,層間における共有重み行列を持つ無限深度ニューラルネットワークであるDeep equilibrium Model (DEQ)について検討する。 解析により,DEC層の幅が無限大に近づくにつれ,ガウス過程に収束することが明らかとなった。 注目すべきは、この収束は深さと幅の限界が交換されても成り立つことである。
  論文  参考訳（メタデータ） (2023-10-16T19:00:43Z)
• From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity [54.01594785269913]
  我々は,標準正規化損失のトレーニングにおいて,深部ReLUニューラルネットワークの最適重みがトレーニングサンプルのウェッジ積によって与えられることを示した。 トレーニング問題は、トレーニングデータセットの幾何学的構造をエンコードするウェッジ製品機能よりも凸最適化に還元される。
  論文  参考訳（メタデータ） (2023-09-28T15:19:30Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Deep Networks Provably Classify Data on Curves [12.309532551321334]
  本研究では, 完全連結ニューラルネットワークを用いて, 単位球上の2つの不連続な滑らかな曲線から引き出されたデータを分類するモデル問題について検討する。 i) ネットワーク深度が問題の難易度と (ii) ネットワーク幅と標本数に固有の性質に比例すると, ランダムな勾配降下は2つの曲線上のすべての点を高い確率で正しく分類する。
  論文  参考訳（メタデータ） (2021-07-29T20:40:04Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)
• Properties of the geometry of solutions and capacity of multi-layer neural networks with Rectified Linear Units activations [2.3018169548556977]
  本稿では,2層ニューラルネットワークにおける線形整流ユニットが解空間の容量および幾何学的景観に与える影響について検討する。 予想外のことに、隠れた層内のニューロン数が増加するにつれて、ネットワークの容量は有限であることがわかった。 おそらくもっと重要なことは、大きな偏差のアプローチによって、解空間の幾何学的景観が特異な構造を持つことを見つけることができるということである。
  論文  参考訳（メタデータ） (2019-07-17T15:23:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。