論文の概要: Adaptive Sampling for Deep Learning via Efficient Nonparametric Proxies
- arxiv url: http://arxiv.org/abs/2311.13583v1
- Date: Wed, 22 Nov 2023 18:40:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 14:01:05.585801
- Title: Adaptive Sampling for Deep Learning via Efficient Nonparametric Proxies
- Title（参考訳）: 効率的な非パラメトリックプロキシによるディープラーニングのための適応サンプリング
- Authors: Shabnam Daghaghi, Benjamin Coleman, Benito Geordie, Anshumali
Shrivastava
- Abstract要約: 我々は,Nadaraya-Watson推定器に対する効率的なスケッチベース近似を開発した。
サンプリングアルゴリズムは,4つのデータセットに対して,壁面時間と精度でベースラインを上回っている。
- 参考スコア（独自算出の注目度）: 35.29595714883275
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data sampling is an effective method to improve the training speed of neural
networks, with recent results demonstrating that it can even break the neural
scaling laws. These results critically rely on high-quality scores to estimate
the importance of an input to the network. We observe that there are two
dominant strategies: static sampling, where the scores are determined before
training, and dynamic sampling, where the scores can depend on the model
weights. Static algorithms are computationally inexpensive but less effective
than their dynamic counterparts, which can cause end-to-end slowdown due to
their need to explicitly compute losses. To address this problem, we propose a
novel sampling distribution based on nonparametric kernel regression that
learns an effective importance score as the neural network trains. However,
nonparametric regression models are too computationally expensive to accelerate
end-to-end training. Therefore, we develop an efficient sketch-based
approximation to the Nadaraya-Watson estimator. Using recent techniques from
high-dimensional statistics and randomized algorithms, we prove that our
Nadaraya-Watson sketch approximates the estimator with exponential convergence
guarantees. Our sampling algorithm outperforms the baseline in terms of
wall-clock time and accuracy on four datasets.
- Abstract（参考訳）: データサンプリングは、ニューラルネットワークのトレーニング速度を改善する効果的な方法であり、最近の結果は、ニューラルネットワークのスケーリング法則を破ることさえできることを示している。
これらの結果は、ネットワークへの入力の重要性を推定するために、高品質なスコアに依存する。
静的サンプリングにはトレーニング前にスコアが決定される静的サンプリングと,モデルの重みに依存する動的サンプリングという2つの主要な戦略がある。
静的アルゴリズムは計算コストが安いが、動的アルゴリズムよりも効果が低いため、損失を明示的に計算する必要があるため、エンド・ツー・エンドの減速を引き起こす可能性がある。
この問題に対処するために、ニューラルネットワークのトレーニングにおいて有効な重要スコアを学習する非パラメトリックカーネル回帰に基づく新しいサンプリング分布を提案する。
しかし、非パラメトリック回帰モデルは、エンドツーエンドのトレーニングを加速するには計算コストが高すぎる。
そこで我々は,Nadaraya-Watson推定器に対する効率的なスケッチベース近似を開発した。
高次元統計とランダム化アルゴリズムによる最近の手法を用いて,我々のnadaraya-watsonスケッチが指数収束保証付き推定器を近似していることを証明する。
サンプリングアルゴリズムは,4つのデータセットに対して,壁面時間と精度でベースラインを上回っている。
関連論文リスト
- Neural Network-Based Score Estimation in Diffusion Models: Optimization
and Generalization [12.812942188697326]
拡散モデルは、忠実さ、柔軟性、堅牢性を改善した高品質なサンプルを生成する際に、GANと競合する強力なツールとして登場した。
これらのモデルの主要な構成要素は、スコアマッチングを通じてスコア関数を学ぶことである。
様々なタスクにおいて経験的な成功にもかかわらず、勾配に基づくアルゴリズムが証明可能な精度でスコア関数を学習できるかどうかは不明である。
論文 参考訳（メタデータ） (2024-01-28T08:13:56Z) - Low-rank extended Kalman filtering for online learning of neural
networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。
この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。
変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文 参考訳（メタデータ） (2023-05-31T03:48:49Z) - Confidence-Nets: A Step Towards better Prediction Intervals for
regression Neural Networks on small datasets [0.0]
そこで本研究では,予測の不確かさを推定し,精度を向上し,予測変動の間隔を与えるアンサンブル手法を提案する。
提案手法は様々なデータセットで検証され,ニューラルネットワークモデルの性能が大幅に向上した。
論文 参考訳（メタデータ） (2022-10-31T06:38:40Z) - Deep learning based sferics recognition for AMT data processing in the
dead band [5.683853455697258]
AMT (Audio magnetotellurics) 音波データ処理では、ある時間帯における干渉信号の欠如は、一般的にATTデッドバンドのエネルギー不足をもたらす。
本稿では,長期にわたって冗長に記録されたデータからスフェリック信号を自動的に認識するディープ畳み込みニューラルネットワーク(CNN)を提案する。
本手法はS/Nを大幅に改善し, デッドバンドのエネルギー不足を効果的に解決する。
論文 参考訳（メタデータ） (2022-09-22T02:31:28Z) - Scalable computation of prediction intervals for neural networks via
matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。
本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-06T13:18:31Z) - Convolutional generative adversarial imputation networks for
spatio-temporal missing data in storm surge simulations [86.5302150777089]
GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。
提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
論文 参考訳（メタデータ） (2021-11-03T03:50:48Z) - Efficient training of physics-informed neural networks via importance
sampling [2.9005223064604078]
Physics-In Neural Networks(PINN)は、偏微分方程式(PDE)によって制御されるシステムを計算するために訓練されているディープニューラルネットワークのクラスである。
重要サンプリング手法により,PINN訓練の収束挙動が改善されることが示唆された。
論文 参考訳（メタデータ） (2021-04-26T02:45:10Z) - Convergence rates for gradient descent in the training of
overparameterized artificial neural networks with biases [3.198144010381572]
近年、人工ニューラルネットワークは、古典的なソリューションが近づいている多数の問題に対処するための強力なツールに発展しています。
ランダムな勾配降下アルゴリズムが限界に達する理由はまだ不明である。
論文 参考訳（メタデータ） (2021-02-23T18:17:47Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2020-12-28T19:21:14Z) - Predicting Training Time Without Training [120.92623395389255]
我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。
我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。
トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
論文 参考訳（メタデータ） (2020-08-28T04:29:54Z) - Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。
そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。
勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文 参考訳（メタデータ） (2020-06-04T21:51:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。