論文の概要: More data or more parameters? Investigating the effect of data structure
on generalization
- arxiv url: http://arxiv.org/abs/2103.05524v1
- Date: Tue, 9 Mar 2021 16:08:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-10 15:04:33.162338
- Title: More data or more parameters? Investigating the effect of data structure
on generalization
- Title（参考訳）: より多くのデータか、より多くのパラメータか?
データ構造が一般化に及ぼす影響の検討
- Authors: St\'ephane d'Ascoli, Marylou Gabri\'e, Levent Sagun, Giulio Biroli
- Abstract要約: データの特性は、トレーニング例の数とトレーニングパラメータの数の関数としてテストエラーに影響を与えます。
ラベル内のノイズや入力データの強い異方性がテストエラーと同じような役割を担っていることを示す。
- 参考スコア（独自算出の注目度）: 17.249712222764085
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the central features of deep learning is the generalization abilities
of neural networks, which seem to improve relentlessly with
over-parametrization. In this work, we investigate how properties of data
impact the test error as a function of the number of training examples and
number of training parameters; in other words, how the structure of data shapes
the "generalization phase space". We first focus on the random features model
trained in the teacher-student scenario. The synthetic input data is composed
of independent blocks, which allow us to tune the saliency of low-dimensional
structures and their relevance with respect to the target function. Using
methods from statistical physics, we obtain an analytical expression for the
train and test errors for both regression and classification tasks in the
high-dimensional limit. The derivation allows us to show that noise in the
labels and strong anisotropy of the input data play similar roles on the test
error. Both promote an asymmetry of the phase space where increasing the number
of training examples improves generalization further than increasing the number
of training parameters. Our analytical insights are confirmed by numerical
experiments involving fully-connected networks trained on MNIST and CIFAR10.
- Abstract（参考訳）: ディープラーニングの中心的な特徴の1つは、ニューラルネットワークの一般化能力であり、過度なパラメータ化によって絶え間なく改善されているように見える。
本研究では、トレーニング例の数とトレーニングパラメータの数の関数として、データの特性がテストエラーにどのように影響するか、すなわち、データの構造が「一般化フェーズ空間」をどう形成するかを検討する。
まず,教師・生徒のシナリオで学習したランダム特徴モデルに注目した。
合成入力データは独立したブロックで構成されており、低次元構造のサリエンシーとターゲット関数に対するそれらの関連性を調整することができます。
統計物理学の手法を用いて,高次元極限における回帰および分類タスクにおける列車および試験誤差の解析式を得る。
導出は、ラベルのノイズと入力データの強い異方性がテストエラーで同様の役割を果たすことを示しています。
どちらもトレーニングサンプル数の増加がトレーニングパラメータ数の増加よりも一般化をさらに改善するフェーズスペースの非対称性を促進する。
当社の分析洞察は、MNISTおよびCIFAR10で訓練されたフルコネクテッドネットワークを含む数値実験によって確認されます。
関連論文リスト
- Repetita Iuvant: Data Repetition Allows SGD to Learn High-Dimensional Multi-Index Functions [20.036783417617652]
勾配に基づくアルゴリズムを用いて学習した2層浅層ニューラルネットワークのトレーニング力学について検討する。
理想化シングルパス勾配勾配学習シナリオの簡単な修正により,その計算効率が大幅に向上することを示す。
この結果から,ネットワークが事前処理なしでデータから関連構造を学習できることが示唆された。
論文 参考訳（メタデータ） (2024-05-24T11:34:31Z) - Functional data learning using convolutional neural networks [0.0]
本稿では、回帰学習や分類学習において、畳み込みニューラルネットワークがどのように使用できるかを示す。
我々は、畳み込みニューラルネットワークの特定のが典型的なアーキテクチャを使って、すべての回帰演習を行います。
この手法は単純ではあるが精度が高く、将来は工学や医学への応用が期待できる。
論文 参考訳（メタデータ） (2023-10-05T04:46:52Z) - Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。
センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
論文 参考訳（メタデータ） (2022-12-07T15:32:22Z) - Amortized Inference for Causal Structure Learning [72.84105256353801]
因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。
本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。
我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
論文 参考訳（メタデータ） (2022-05-25T17:37:08Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
一般化誤差の「二重降下」現象について検討する。
二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
論文 参考訳（メタデータ） (2021-12-06T18:17:08Z) - Efficient Multidimensional Functional Data Analysis Using Marginal
Product Basis Systems [2.4554686192257424]
多次元関数データのサンプルから連続表現を学習するためのフレームワークを提案する。
本研究では, テンソル分解により, 得られた推定問題を効率的に解けることを示す。
我々は、ニューロイメージングにおける真のデータ応用で締めくくっている。
論文 参考訳（メタデータ） (2021-07-30T16:02:15Z) - What training reveals about neural network complexity [80.87515604428346]
この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。
我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
論文 参考訳（メタデータ） (2021-06-08T08:58:00Z) - Learning from Incomplete Features by Simultaneous Training of Neural
Networks and Sparse Coding [24.3769047873156]
本稿では,不完全な特徴を持つデータセット上で分類器を訓練する問題に対処する。
私たちは、各データインスタンスで異なる機能のサブセット(ランダムまたは構造化)が利用できると仮定します。
新しい教師付き学習法が開発され、サンプルあたりの機能のサブセットのみを使用して、一般的な分類器を訓練する。
論文 参考訳（メタデータ） (2020-11-28T02:20:39Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z) - Neural Networks and Polynomial Regression. Demystifying the
Overparametrization Phenomena [17.205106391379026]
ニューラルネットワークモデルでは、過度パラメトリゼーション(overparametrization)は、これらのモデルが見えないデータに対してうまく一般化しているように見える現象を指す。
この現象の従来の説明は、データのトレーニングに使用されるアルゴリズムの自己正規化特性に基づいている。
教師ネットワークが生成したデータを補間する学生ネットワークは,少なくともデータ次元によって制御される明示的な量である場合,よく一般化することを示す。
論文 参考訳（メタデータ） (2020-03-23T20:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。