論文の概要: Small Data, Big Decisions: Model Selection in the Small-Data Regime
- arxiv url: http://arxiv.org/abs/2009.12583v1
- Date: Sat, 26 Sep 2020 12:52:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 08:28:15.001194
- Title: Small Data, Big Decisions: Model Selection in the Small-Data Regime
- Title（参考訳）: 小さなデータと大きな決定:小さなデータレジームにおけるモデル選択
- Authors: Jorg Bornschein, Francesco Visin, Simon Osindero
- Abstract要約: トレーニングセットのサイズが桁違いに変化するため,一般化性能について検討する。
さらに、現代のニューラルネットワークアーキテクチャが与えられた共通のデータセットに対して、最小記述長を推定することができる。
- 参考スコア（独自算出の注目度）: 11.817454285986225
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Highly overparametrized neural networks can display curiously strong
generalization performance - a phenomenon that has recently garnered a wealth
of theoretical and empirical research in order to better understand it. In
contrast to most previous work, which typically considers the performance as a
function of the model size, in this paper we empirically study the
generalization performance as the size of the training set varies over multiple
orders of magnitude. These systematic experiments lead to some interesting and
potentially very useful observations; perhaps most notably that training on
smaller subsets of the data can lead to more reliable model selection decisions
whilst simultaneously enjoying smaller computational costs. Our experiments
furthermore allow us to estimate Minimum Description Lengths for common
datasets given modern neural network architectures, thereby paving the way for
principled model selection taking into account Occams-razor.
- Abstract（参考訳）: 非常に過度にパラメータ化されたニューラルネットワークは、奇妙なほど強力な一般化性能を示すことができる。
本稿では,モデルサイズの関数としての性能を典型的に考慮した,ほとんどの先行研究とは対照的に,トレーニングセットのサイズが桁違いに変化するため,一般化性能を実証的に検討する。
これらの体系的な実験は興味深く、潜在的に非常に有用な観察をもたらし、おそらくはより小さなサブセットでのトレーニングはより信頼性の高いモデル選択決定を導き、同時により少ない計算コストを享受することができる。
さらに,最近のニューラルネットワークアーキテクチャにおいて,共通データセットの最小記述長の推定が可能となり,occams-razorを考慮したモデル選択の方法が確立された。
関連論文リスト
- Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳（メタデータ） (2023-01-30T12:38:31Z) - Zero-shot meta-learning for small-scale data from human subjects [10.320654885121346]
我々は,サンプル外テストデータに対する限られたトレーニングデータを用いて,新しい予測タスクに迅速に適応するフレームワークを開発した。
本モデルでは, 介入による遅延処理効果を学習し, 設計上はマルチタスク予測を自然に処理できる。
我々のモデルは、より広い人口への小型人間研究の一般化を向上するために重要である。
論文 参考訳（メタデータ） (2022-03-29T17:42:04Z) - On Optimal Early Stopping: Over-informative versus Under-informative
Parametrization [13.159777131162961]
我々は,最適早期停止時間とモデル次元の関係を明らかにするために理論的結果を開発する。
実験により、最適な早期停止時間に関する理論的結果は、ディープニューラルネットワークのトレーニングプロセスと一致することを示した。
論文 参考訳（メタデータ） (2022-02-20T18:20:06Z) - With Greater Distance Comes Worse Performance: On the Perspective of
Layer Utilization and Model Generalization [3.6321778403619285]
ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。
初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。
より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
論文 参考訳（メタデータ） (2022-01-28T05:26:32Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-12-15T20:09:20Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Experimental Design for Overparameterized Learning with Application to
Single Shot Deep Active Learning [5.141687309207561]
現代の機械学習モデルは、大量のラベル付きデータに基づいて訓練されている。
大量のラベル付きデータへのアクセスは、しばしば制限またはコストがかかる。
トレーニングセットをキュレートするための新しい設計戦略を提案する。
論文 参考訳（メタデータ） (2020-09-27T11:27:49Z) - Rethinking Generalization of Neural Models: A Named Entity Recognition
Case Study [81.11161697133095]
NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。
詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。
本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
論文 参考訳（メタデータ） (2020-01-12T04:33:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。