論文の概要: Memorization with neural nets: going beyond the worst case

• arxiv url: http://arxiv.org/abs/2310.00327v1
• Date: Sat, 30 Sep 2023 10:06:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 05:12:52.090621
• Title: Memorization with neural nets: going beyond the worst case
• Title（参考訳）: ニューラルネットワークによる記憶 : 最悪のケースを超えて
• Authors: Sjoerd Dirksen and Patrick Finke and Martin Genzel
• Abstract要約: 実際には、ディープニューラルネットワークはトレーニングデータを簡単に補間できることが多い。 しかし、実世界のデータについては、暗記能力によって提案されるよりもネットワークサイズが小さいような良質な構造の存在を直感的に期待する。 2つのクラスを持つ固定有限データセットを与えられた場合、高い確率で3層ニューラルネットワークを時間内に補間する単純なランダム化アルゴリズムを導入する。
• 参考スコア（独自算出の注目度）: 5.662924503089369
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In practice, deep neural networks are often able to easily interpolate their training data. To understand this phenomenon, many works have aimed to quantify the memorization capacity of a neural network architecture: the largest number of points such that the architecture can interpolate any placement of these points with any assignment of labels. For real-world data, however, one intuitively expects the presence of a benign structure so that interpolation already occurs at a smaller network size than suggested by memorization capacity. In this paper, we investigate interpolation by adopting an instance-specific viewpoint. We introduce a simple randomized algorithm that, given a fixed finite dataset with two classes, with high probability constructs an interpolating three-layer neural network in polynomial time. The required number of parameters is linked to geometric properties of the two classes and their mutual arrangement. As a result, we obtain guarantees that are independent of the number of samples and hence move beyond worst-case memorization capacity bounds. We illustrate the effectiveness of the algorithm in non-pathological situations with extensive numerical experiments and link the insights back to the theoretical results.
• Abstract（参考訳）: 実際には、ディープニューラルネットワークはトレーニングデータを簡単に補間できることが多い。 この現象を理解するために、多くの研究はニューラルネットワークアーキテクチャの記憶容量を定量化することを目的としている。 しかし、実世界のデータでは、直感的に良性構造の存在を期待するので、補間は記憶能力よりも小さいネットワークサイズで既に発生している。 本稿では,インスタンス固有の視点を用いた補間について検討する。 2つのクラスを持つ固定有限データセットが与えられた場合、多項式時間で3層ニューラルネットワークを補間する確率の高い単純なランダム化アルゴリズムを導入する。 必要なパラメータ数は、2つのクラスの幾何学的性質とそれらの相互配列に関連付けられる。 その結果,サンプル数に依存しない保証が得られ,最悪の記憶能力限界を超えて移動することがわかった。 本研究では,非病理学的状況におけるアルゴリズムの有効性を広範囲な数値実験で示し,その知見を理論的結果に結びつける。

関連論文リスト

• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Predictions Based on Pixel Data: Insights from PDEs and Finite Differences [0.0]
  本稿では,各観測が行列である時間列の近似を扱う。 比較的小さなネットワークでは、直線法に基づいて、PDEの数値的な離散化のクラスを正確に表現できることが示される。 我々のネットワークアーキテクチャは、典型的に時系列の近似に採用されているものから着想を得ている。
  論文  参考訳（メタデータ） (2023-05-01T08:54:45Z)
• Dynamical systems' based neural networks [0.7874708385247353]
  我々は、適切な、構造保存、数値的な時間分散を用いてニューラルネットワークを構築する。 ニューラルネットワークの構造は、ODEベクトル場の特性から推定される。 2つの普遍近似結果を示し、ニューラルネットワークに特定の特性を課す方法を示す。
  論文  参考訳（メタデータ） (2022-10-05T16:30:35Z)
• Investigating Neural Architectures by Synthetic Dataset Design [14.317837518705302]
  近年、多くの新しいニューラルネットワーク構造(アーキテクチャと層)が出現している。 アドホックな合成データセットを設計することにより,各構造がネットワーク能力に与える影響を測定する手法をスケッチする。 本稿では,以下の3つのネットワーク特性のそれぞれを評価するために,3つのデータセットを構築した手法について述べる。
  論文  参考訳（メタデータ） (2022-04-23T10:50:52Z)
• Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
  ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
  論文  参考訳（メタデータ） (2022-03-30T21:47:32Z)
• Dive into Layers: Neural Network Capacity Bounding using Algebraic Geometry [55.57953219617467]
  ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。 入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。 実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
  論文  参考訳（メタデータ） (2021-09-03T11:45:51Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。