論文の概要: Deep limits and cut-off phenomena for neural networks

• arxiv url: http://arxiv.org/abs/2104.10727v1
• Date: Wed, 21 Apr 2021 19:07:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-24 01:42:44.923067
• Title: Deep limits and cut-off phenomena for neural networks
• Title（参考訳）: ニューラルネットワークの深い限界と遮断現象
• Authors: Benny Avelin and Anders Karlsson
• Abstract要約: 層数を無限にするときに一定の限界が存在することを示す。 また,ネットワークの深さ,層数の観点から,突然の遮断現象も観測した。 より一般に、本論文における概念と結果が、深層ニューラルネットワークの理論的な理解の一部として、特に幾何学的な枠組みを提供できることを願っている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider dynamical and geometrical aspects of deep learning. For many standard choices of layer maps we display semi-invariant metrics which quantify differences between data or decision functions. This allows us, when considering random layer maps and using non-commutative ergodic theorems, to deduce that certain limits exist when letting the number of layers tend to infinity. We also examine the random initialization of standard networks where we observe a surprising cut-off phenomenon in terms of the number of layers, the depth of the network. This could be a relevant parameter when choosing an appropriate number of layers for a given learning task, or for selecting a good initialization procedure. More generally, we hope that the notions and results in this paper can provide a framework, in particular a geometric one, for a part of the theoretical understanding of deep neural networks.
• Abstract（参考訳）: 深層学習の動的・幾何学的側面を考える。 レイヤーマップの多くの標準的な選択に対して、データや決定関数の違いを定量化する準不変メトリックを表示する。 これにより、ランダムな層写像を考慮し、非可換エルゴード定理を用いることで、層数を無限にするときに、ある極限が存在することを推測することができる。 また,標準ネットワークのランダム初期化について検討し,ネットワークの層数,深さについて,驚くべきカットオフ現象を観測した。 これは、与えられた学習タスクに適切な数のレイヤを選択する場合や、適切な初期化手順を選択する場合、関連するパラメータになり得る。 より一般に、本論文における概念と結果が、深層ニューラルネットワークの理論的な理解の一部として、特に幾何学的な枠組みを提供できることを願っている。

関連論文リスト

• Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
  機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。 いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
  論文  参考訳（メタデータ） (2024-02-21T18:35:27Z)
• Memorization with neural nets: going beyond the worst case [5.662924503089369]
  実際には、ディープニューラルネットワークはトレーニングデータを簡単に補間できることが多い。 しかし、実世界のデータについては、暗記能力によって提案されるよりもネットワークサイズが小さいような良質な構造の存在を直感的に期待する。 2つのクラスを持つ固定有限データセットを与えられた場合、高い確率で3層ニューラルネットワークを時間内に補間する単純なランダム化アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-09-30T10:06:05Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Layer Ensembles [95.42181254494287]
  本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。 その結果,メモリと実行時間が少なくなるモデルが得られた。
  論文  参考訳（メタデータ） (2022-10-10T17:52:47Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Training Integrable Parameterizations of Deep Neural Networks in the Infinite-Width Limit [0.0]
  大きな幅のダイナミクスは実世界のディープネットワークに関する実践的な洞察を導いてきた。 2層ニューラルネットワークでは、トレーニングされたモデルの性質が初期ランダムウェイトの大きさによって根本的に変化することが理解されている。 この自明な振る舞いを避けるための様々な手法を提案し、その結果のダイナミクスを詳細に分析する。
  論文  参考訳（メタデータ） (2021-10-29T07:53:35Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• On the Turnpike to Design of Deep Neural Nets: Explicit Depth Bounds [0.0]
  本稿では,Deep Neural Networks (DNN) において,どの層を考慮すべきかという質問に対する定量的回答を試みる。 基礎となる仮定は、層ごとのニューロンの数、すなわちDNNの幅が一定であることである。 我々は、仮定の到達可能性と訓練問題における正規化項の散逸誘導選択に基づいて、DNNの必要な深さの明示的な境界を証明する。
  論文  参考訳（メタデータ） (2021-01-08T13:23:37Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)
• NeuroFabric: Identifying Ideal Topologies for Training A Priori Sparse Networks [2.398608007786179]
  ディープニューラルネットワークの長いトレーニング時間は、機械学習研究のボトルネックである。 層内トポロジーの選択に関する理論的基礎を提供する。 類似したトポロジが達成可能な精度に大きな差があることがよく示される。
  論文  参考訳（メタデータ） (2020-02-19T18:29:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。