論文の概要: One Backward from Ten Forward, Subsampling for Large-Scale Deep Learning
- arxiv url: http://arxiv.org/abs/2104.13114v1
- Date: Tue, 27 Apr 2021 11:29:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-28 13:25:24.238632
- Title: One Backward from Ten Forward, Subsampling for Large-Scale Deep Learning
- Title（参考訳）: 大規模ディープラーニングのための10個のサブサンプリングから1つ後退する
- Authors: Chaosheng Dong, Xiaojie Jin, Weihao Gao, Yijia Wang, Hongyi Zhang,
Xiang Wu, Jianchao Yang, Xiaobing Liu
- Abstract要約: 大規模機械学習システムは、しばしばプロダクション環境からの膨大なデータで継続的に訓練される。
ストリーミングデータの量は、リアルタイムのトレーニングサブシステムにとって重要な課題であり、アドホックサンプリングが標準のプラクティスである。
我々は,これらの前方パスからインスタンス毎の情報量を一定に記録することを提案する。
追加情報は、前方および後方のパスに参加するデータインスタンスの選択を測定可能に改善します。
- 参考スコア（独自算出の注目度）: 35.0157090322113
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning models in large-scale machine learning systems are often
continuously trained with enormous data from production environments. The sheer
volume of streaming training data poses a significant challenge to real-time
training subsystems and ad-hoc sampling is the standard practice. Our key
insight is that these deployed ML systems continuously perform forward passes
on data instances during inference, but ad-hoc sampling does not take advantage
of this substantial computational effort. Therefore, we propose to record a
constant amount of information per instance from these forward passes. The
extra information measurably improves the selection of which data instances
should participate in forward and backward passes. A novel optimization
framework is proposed to analyze this problem and we provide an efficient
approximation algorithm under the framework of Mini-batch gradient descent as a
practical solution. We also demonstrate the effectiveness of our framework and
algorithm on several large-scale classification and regression tasks, when
compared with competitive baselines widely used in industry.
- Abstract（参考訳）: 大規模機械学習システムのディープラーニングモデルは、プロダクション環境からの膨大なデータで継続的に訓練されることが多い。
ストリーミングトレーニングデータの膨大なボリュームは、リアルタイムトレーニングサブシステムにとって大きな課題であり、アドホックサンプリングが標準的なプラクティスである。
我々の重要な洞察は、これらのデプロイされたMLシステムは推論中にデータインスタンスを継続的にフォワードパスしますが、アドホックサンプリングはこのかなりの計算努力を生かしていません。
そこで我々は,この前方パスからインスタンス毎に一定量の情報を記録することを提案する。
余分な情報は、どのデータインスタンスが前方および後方通過に参加するべきかを計測的に改善する。
この問題を分析するための新しい最適化フレームワークを提案し, 実用的解としてミニバッチ勾配降下法に基づく効率的な近似アルゴリズムを提案する。
また,大規模分類および回帰タスクにおけるフレームワークとアルゴリズムの有効性を,業界で広く使用されている競争ベースラインと比較した。
関連論文リスト
- A Bayesian Approach to Data Point Selection [24.98069363998565]
データポイントの選択(DPS)は、ディープラーニングにおいて重要なトピックになりつつある。
既存のDPSへのアプローチは、主にバイレベル最適化(BLO)の定式化に基づいている。
DPSに対する新しいベイズ的アプローチを提案する。
論文 参考訳（メタデータ） (2024-11-06T09:04:13Z) - RPS: A Generic Reservoir Patterns Sampler [1.09784964592609]
本稿では,ストリーミングバッチデータからの直接パターンサンプリングを容易にするために,重み付き貯水池を利用する手法を提案する。
本稿では、時間的バイアスに対処し、逐次的、重み付け、および非重み付けを含む様々なパターンタイプを処理できる汎用アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-31T16:25:21Z) - Adaptive Memory Replay for Continual Learning [29.333341368722653]
新たなデータが利用可能になれば、ファンデーションモデルの更新は破滅的な忘れに繋がる」
連続学習のための適応型メモリリプレイの枠組みを導入し、過去のデータのサンプリングをマルチアームバンディット問題と表現する。
我々は,学習効率を犠牲にすることなく,最大10%の忘れ込みを低減しつつ,高い性能を維持するアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2024-04-18T22:01:56Z) - Take the Bull by the Horns: Hard Sample-Reweighted Continual Training
Improves LLM Generalization [165.98557106089777]
大きな言語モデル(LLM)の能力を高めることが大きな課題だ。
本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。
次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
論文 参考訳（メタデータ） (2024-02-22T04:10:57Z) - Stochastic Amortization: A Unified Approach to Accelerate Feature and Data Attribution [62.71425232332837]
雑音ラベル付きモデルを用いたトレーニングは安価で驚くほど効果的であることを示す。
このアプローチは、いくつかの特徴属性とデータ評価手法を著しく加速し、しばしば既存のアプローチよりも桁違いにスピードアップする。
論文 参考訳（メタデータ） (2024-01-29T03:42:37Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳（メタデータ） (2024-01-12T12:51:12Z) - Diffusion Generative Flow Samplers: Improving learning signals through
partial trajectory optimization [87.21285093582446]
Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。
生成フローネットワーク(GFlowNets)のための理論から着想を得た。
論文 参考訳（メタデータ） (2023-10-04T09:39:05Z) - AdaSelection: Accelerating Deep Learning Training through Data
Subsampling [27.46630703428186]
適応型サブサンプリング手法であるAdaSelectionを導入し,各ミニバッチ内の最も情報性の高いサブサンプルを同定する。
業界標準のベースラインと比較すると、AdaSelectionは一貫して優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2023-06-19T07:01:28Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳（メタデータ） (2022-02-11T13:49:51Z) - Batch Active Learning at Scale [39.26441165274027]
バッチクエリをラベル付けオラクルに適応的に発行するバッチアクティブラーニングは、この問題に対処するための一般的なアプローチである。
本研究では,大規模なバッチ設定に着目した効率的な能動学習アルゴリズムを解析する。
本研究では,不確実性と多様性の概念を組み合わせたサンプリング手法について,従来より数桁大きなバッチサイズ(100K-1M)に容易にスケール可能であることを示す。
論文 参考訳（メタデータ） (2021-07-29T18:14:05Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。