論文の概要: Experimental Design for Overparameterized Learning with Application to
Single Shot Deep Active Learning
- arxiv url: http://arxiv.org/abs/2009.12820v3
- Date: Sun, 25 Apr 2021 18:46:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 03:18:59.959058
- Title: Experimental Design for Overparameterized Learning with Application to
Single Shot Deep Active Learning
- Title（参考訳）: オーバーパラメータ学習のための実験設計と単ショット深層学習への応用
- Authors: Neta Shoham and Haim Avron
- Abstract要約: 現代の機械学習モデルは、大量のラベル付きデータに基づいて訓練されている。
大量のラベル付きデータへのアクセスは、しばしば制限またはコストがかかる。
トレーニングセットをキュレートするための新しい設計戦略を提案する。
- 参考スコア（独自算出の注目度）: 5.141687309207561
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The impressive performance exhibited by modern machine learning models hinges
on the ability to train such models on a very large amounts of labeled data.
However, since access to large volumes of labeled data is often limited or
expensive, it is desirable to alleviate this bottleneck by carefully curating
the training set. Optimal experimental design is a well-established paradigm
for selecting data point to be labeled so to maximally inform the learning
process. Unfortunately, classical theory on optimal experimental design focuses
on selecting examples in order to learn underparameterized (and thus,
non-interpolative) models, while modern machine learning models such as deep
neural networks are overparameterized, and oftentimes are trained to be
interpolative. As such, classical experimental design methods are not
applicable in many modern learning setups. Indeed, the predictive performance
of underparameterized models tends to be variance dominated, so classical
experimental design focuses on variance reduction, while the predictive
performance of overparameterized models can also be, as is shown in this paper,
bias dominated or of mixed nature. In this paper we propose a design strategy
that is well suited for overparameterized regression and interpolation, and we
demonstrate the applicability of our method in the context of deep learning by
proposing a new algorithm for single shot deep active learning.
- Abstract（参考訳）: 現代の機械学習モデルによる印象的なパフォーマンスは、非常に大量のラベル付きデータでそのようなモデルをトレーニングする能力に基づいている。
しかし、ラベル付きデータの大量アクセスは制限やコストがかかることが多いため、トレーニングセットを慎重にキュレートすることでボトルネックを軽減することが望ましい。
最適実験設計は、学習過程を最大限に知らせるためにラベル付けされるデータポイントを選択するための確立されたパラダイムである。
不幸なことに、最適実験設計に関する古典的な理論は、アンダーパラメータ化(従って非補間的)モデルを学ぶために例を選択することに焦点を当てているが、ディープニューラルネットワークのような現代の機械学習モデルは過剰パラメータ化され、しばしば補間的になるように訓練される。
そのため、古典的な実験設計法は多くの近代的な学習環境には適用できない。
実際、過度パラメータ化モデルの予測性能は分散が支配的である傾向にあり、古典的な実験設計では分散が重視されるが、過度パラメータ化モデルの予測性能は、この論文で示されているように、偏りが支配的あるいは混合的な性質でもある。
本稿では,過パラメータ回帰と補間に適した設計戦略を提案するとともに,シングルショット深層アクティブ学習のための新しいアルゴリズムを提案することにより,深層学習の文脈における本手法の適用性を示す。
関連論文リスト
- Optimizing Dense Feed-Forward Neural Networks [0.0]
本稿では,プルーニングと移動学習に基づくフィードフォワードニューラルネットワークの構築手法を提案する。
提案手法では,パラメータ数を70%以上圧縮できる。
また、ニューラルネットワークをスクラッチからトレーニングしたモデルと元のモデルを比較し、トランスファー学習レベルを評価した。
論文 参考訳（メタデータ） (2023-12-16T23:23:16Z) - Online simulator-based experimental design for cognitive model selection [74.76661199843284]
本稿では,抽出可能な確率を伴わない計算モデルを選択する実験設計手法BOSMOSを提案する。
シミュレーション実験では,提案手法により,既存のLFI手法に比べて最大2桁の精度でモデルを選択することができることを示した。
論文 参考訳（メタデータ） (2023-03-03T21:41:01Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - Planning with Diffusion for Flexible Behavior Synthesis [125.24438991142573]
我々は、できるだけ多くの軌道最適化パイプラインをモデリング問題に折り畳むことがどう見えるか検討する。
我々の技術的アプローチの核心は、軌道を反復的にデノベーションすることで計画する拡散確率モデルにある。
論文 参考訳（メタデータ） (2022-05-20T07:02:03Z) - Model-Based Deep Learning: On the Intersection of Deep Learning and
Optimization [101.32332941117271]
決定アルゴリズムは様々なアプリケーションで使われている。
数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。
モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
論文 参考訳（メタデータ） (2022-05-05T13:40:08Z) - Learning to Refit for Convex Learning Problems [11.464758257681197]
ニューラルネットワークを用いて、異なるトレーニングセットに対して最適化されたモデルパラメータを推定するフレームワークを提案する。
我々は、凸問題を近似するためにニューラルネットワークのパワーを厳格に特徴づける。
論文 参考訳（メタデータ） (2021-11-24T15:28:50Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Trajectory-wise Multiple Choice Learning for Dynamics Generalization in
Reinforcement Learning [137.39196753245105]
本稿では,動的一般化のためのマルチヘッドダイナミックスモデルを学習するモデルベース強化学習アルゴリズムを提案する。
文脈学習は,過去の経験から得られる動的情報からコンテキスト潜在ベクトルにエンコードする。
提案手法は,最先端のRL法と比較して,様々な制御タスクにおいて優れたゼロショット一般化性能を示す。
論文 参考訳（メタデータ） (2020-10-26T03:20:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。