論文の概要: Memorization with neural nets: going beyond the worst case

• arxiv url: http://arxiv.org/abs/2310.00327v1
• Date: Sat, 30 Sep 2023 10:06:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 05:12:52.090621
• Title: Memorization with neural nets: going beyond the worst case
• Title（参考訳）: ニューラルネットワークによる記憶 : 最悪のケースを超えて
• Authors: Sjoerd Dirksen and Patrick Finke and Martin Genzel
• Abstract要約: 実際には、ディープニューラルネットワークはトレーニングデータを簡単に補間できることが多い。 しかし、実世界のデータについては、暗記能力によって提案されるよりもネットワークサイズが小さいような良質な構造の存在を直感的に期待する。 2つのクラスを持つ固定有限データセットを与えられた場合、高い確率で3層ニューラルネットワークを時間内に補間する単純なランダム化アルゴリズムを導入する。
• 参考スコア（独自算出の注目度）: 5.662924503089369
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In practice, deep neural networks are often able to easily interpolate their training data. To understand this phenomenon, many works have aimed to quantify the memorization capacity of a neural network architecture: the largest number of points such that the architecture can interpolate any placement of these points with any assignment of labels. For real-world data, however, one intuitively expects the presence of a benign structure so that interpolation already occurs at a smaller network size than suggested by memorization capacity. In this paper, we investigate interpolation by adopting an instance-specific viewpoint. We introduce a simple randomized algorithm that, given a fixed finite dataset with two classes, with high probability constructs an interpolating three-layer neural network in polynomial time. The required number of parameters is linked to geometric properties of the two classes and their mutual arrangement. As a result, we obtain guarantees that are independent of the number of samples and hence move beyond worst-case memorization capacity bounds. We illustrate the effectiveness of the algorithm in non-pathological situations with extensive numerical experiments and link the insights back to the theoretical results.
• Abstract（参考訳）: 実際には、ディープニューラルネットワークはトレーニングデータを簡単に補間できることが多い。 この現象を理解するために、多くの研究はニューラルネットワークアーキテクチャの記憶容量を定量化することを目的としている。 しかし、実世界のデータでは、直感的に良性構造の存在を期待するので、補間は記憶能力よりも小さいネットワークサイズで既に発生している。 本稿では,インスタンス固有の視点を用いた補間について検討する。 2つのクラスを持つ固定有限データセットが与えられた場合、多項式時間で3層ニューラルネットワークを補間する確率の高い単純なランダム化アルゴリズムを導入する。 必要なパラメータ数は、2つのクラスの幾何学的性質とそれらの相互配列に関連付けられる。 その結果,サンプル数に依存しない保証が得られ,最悪の記憶能力限界を超えて移動することがわかった。 本研究では,非病理学的状況におけるアルゴリズムの有効性を広範囲な数値実験で示し,その知見を理論的結果に結びつける。

関連論文リスト

• On Characterizing the Evolution of Embedding Space of Neural Networks using Algebraic Topology [9.537910170141467]
  特徴埋め込み空間のトポロジがベッチ数を介してよく訓練されたディープニューラルネットワーク(DNN)の層を通過するとき、どのように変化するかを検討する。 深度が増加するにつれて、トポロジカルに複雑なデータセットが単純なデータセットに変換され、ベッチ数はその最小値に達することが示される。
  論文  参考訳（メタデータ） (2023-11-08T10:45:12Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
  ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
  論文  参考訳（メタデータ） (2022-03-30T21:47:32Z)
• Dive into Layers: Neural Network Capacity Bounding using Algebraic Geometry [55.57953219617467]
  ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。 入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。 実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
  論文  参考訳（メタデータ） (2021-09-03T11:45:51Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Bayesian reconstruction of memories stored in neural networks from their connectivity [25.94639282590696]
  シナプス接続から記憶パターンを再構築するための実用的なアルゴリズムを提供する。 3つのモデルでその性能を研究し、シナプスコネクティビティから保存パターンを再構築する限界を探ります。
  論文  参考訳（メタデータ） (2021-05-16T12:05:10Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。