論文の概要: Generalizability of Memorization Neural Networks

• arxiv url: http://arxiv.org/abs/2411.00372v1
• Date: Fri, 01 Nov 2024 05:18:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:42:37.169436
• Title: Generalizability of Memorization Neural Networks
• Title（参考訳）: 記憶ニューラルネットワークの一般化可能性
• Authors: Lijia Yu, Xiao-Shan Gao, Lijun Zhang, Yibo Miao,
• Abstract要約: 暗記は、ディープラーニングの強い一般化可能性と密接な関係があると広く信じられている。 記憶ネットワークを一般化するためには、ネットワークの幅は少なくともデータの寸法に等しい必要があることを示す。 また、それらに対して一般化可能なデータ分布が存在することも示され、記憶ネットワークはデータ次元において指数的な数のパラメータを持つ必要がある。
• 参考スコア（独自算出の注目度）: 13.144557876007358
• License:
• Abstract: The neural network memorization problem is to study the expressive power of neural networks to interpolate a finite dataset. Although memorization is widely believed to have a close relationship with the strong generalizability of deep learning when using over-parameterized models, to the best of our knowledge, there exists no theoretical study on the generalizability of memorization neural networks. In this paper, we give the first theoretical analysis of this topic. Since using i.i.d. training data is a necessary condition for a learning algorithm to be generalizable, memorization and its generalization theory for i.i.d. datasets are developed under mild conditions on the data distribution. First, algorithms are given to construct memorization networks for an i.i.d. dataset, which have the smallest number of parameters and even a constant number of parameters. Second, we show that, in order for the memorization networks to be generalizable, the width of the network must be at least equal to the dimension of the data, which implies that the existing memorization networks with an optimal number of parameters are not generalizable. Third, a lower bound for the sample complexity of general memorization algorithms and the exact sample complexity for memorization algorithms with constant number of parameters are given. It is also shown that there exist data distributions such that, to be generalizable for them, the memorization network must have an exponential number of parameters in the data dimension. Finally, an efficient and generalizable memorization algorithm is given when the number of training samples is greater than the efficient memorization sample complexity of the data distribution.
• Abstract（参考訳）: ニューラルネットワーク記憶問題は、ニューラルネットワークの表現力を調べて有限データセットを補間することである。 メモリ化は,過度パラメータ化モデルを用いた場合のディープラーニングの強い一般化可能性と密接な関係があると広く信じられているが,メモリ化ニューラルネットワークの一般化性に関する理論的研究は存在しない。 本稿では,この話題に関する最初の理論的分析を行う。 i.d.トレーニングデータを使用することは、学習アルゴリズムを一般化するために必要な条件であるため、データ分布の温和な条件下で、i.d.データセットの記憶とその一般化理論が開発される。 まず、最小のパラメータと一定の数のパラメータを持つi.d.データセットの記憶ネットワークを構築するアルゴリズムが与えられる。 第二に、記憶ネットワークを一般化するためには、ネットワークの幅がデータの次元に少なくとも等しくなければならないことを示し、パラメータ数が最適である既存の記憶ネットワークが一般化できないことを示す。 第3に、一般記憶アルゴリズムのサンプル複雑性に対する低い境界と、一定数のパラメータを持つ記憶アルゴリズムの正確なサンプル複雑性が与えられる。 また、それらに対して一般化可能なデータ分布が存在することも示され、記憶ネットワークはデータ次元において指数的な数のパラメータを持つ必要がある。 最後に、トレーニングサンプルの数が、データ分布の効率的な記憶サンプルの複雑さよりも大きい場合に、効率的で一般化可能な記憶アルゴリズムが与えられる。

関連論文リスト

• Learning of networked spreading models from noisy and incomplete data [7.669018800404791]
  スケーラブルな動的メッセージパッシング技術に基づく普遍的な学習手法を提案する。 このアルゴリズムは、モデルとデータに関する利用可能な事前知識を活用し、拡散モデルのネットワーク構造とパラメータの両方を再構成する。 キーモデルパラメータを持つ手法の線形計算複雑性は,アルゴリズムを大規模ネットワークインスタンスにスケーラブルにすることを示す。
  論文  参考訳（メタデータ） (2023-12-20T13:12:47Z)
• Memorization with neural nets: going beyond the worst case [5.662924503089369]
  実際には、ディープニューラルネットワークはトレーニングデータを簡単に補間できることが多い。 しかし、実世界のデータについては、暗記能力によって提案されるよりもネットワークサイズが小さいような良質な構造の存在を直感的に期待する。 2つのクラスを持つ固定有限データセットを与えられた場合、高い確率で3層ニューラルネットワークを時間内に補間する単純なランダム化アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-09-30T10:06:05Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets [4.278591555984394]
  アルゴリズムによって生成された小さなデータセット上でのニューラルネットワークの一般化について検討する。 ニューラルネットワークは、データ内のパターンを"グロキング"するプロセスを通じて学習することを示す。 これらのデータセットは、ディープラーニングの理解の不十分な側面を研究するための、肥大した土台である、と我々は主張する。
  論文  参考訳（メタデータ） (2022-01-06T18:43:37Z)
• Counterfactual Memorization in Neural Language Models [91.8747020391287]
  様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。 言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。 トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
  論文  参考訳（メタデータ） (2021-12-24T04:20:57Z)
• Understanding Memorization from the Perspective of Optimization via Efficient Influence Estimation [54.899751055620904]
  本研究では,実データ(実データ)とランダムラベル(ランダムデータ)のデータに対する,ターンオーバードロップアウトによる暗記現象,影響と暗記を効率的に推定する手法について検討する。 i) 実データと乱データの両方において、簡単な例(例えば、実データ)と難しい例(例えば、乱データ)の最適化は、ネットワークによって同時に行われる。
  論文  参考訳（メタデータ） (2021-12-16T11:34:23Z)
• Robust Generalization of Quadratic Neural Networks via Function Identification [19.87036824512198]
  一般化は、テスト分布がトレーニング分布に近いと仮定することが多い。 2次ニューラルネットワークでは、パラメータを特定できないにもかかわらず、モデルで表される関数を識別できることが示される。
  論文  参考訳（メタデータ） (2021-09-22T18:02:00Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• When is Memorization of Irrelevant Training Data Necessary for High-Accuracy Learning? [53.523017945443115]
  我々は,十分な精度のトレーニングアルゴリズムが,予測モデルにおいて,そのトレーニング例の大規模サブセットに関する情報を本質的にすべてエンコードしなければならない自然予測問題を記述する。 私たちの結果は、トレーニングアルゴリズムや学習に使用されるモデルのクラスに依存しません。
  論文  参考訳（メタデータ） (2020-12-11T15:25:14Z)
• Neural Networks and Polynomial Regression. Demystifying the Overparametrization Phenomena [17.205106391379026]
  ニューラルネットワークモデルでは、過度パラメトリゼーション(overparametrization)は、これらのモデルが見えないデータに対してうまく一般化しているように見える現象を指す。 この現象の従来の説明は、データのトレーニングに使用されるアルゴリズムの自己正規化特性に基づいている。 教師ネットワークが生成したデータを補間する学生ネットワークは,少なくともデータ次元によって制御される明示的な量である場合,よく一般化することを示す。
  論文  参考訳（メタデータ） (2020-03-23T20:09:31Z)
• Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
  本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。 本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
  論文  参考訳（メタデータ） (2020-01-31T11:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。