論文の概要: AdaSelection: Accelerating Deep Learning Training through Data
Subsampling
- arxiv url: http://arxiv.org/abs/2306.10728v1
- Date: Mon, 19 Jun 2023 07:01:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 18:56:31.141039
- Title: AdaSelection: Accelerating Deep Learning Training through Data
Subsampling
- Title(参考訳): AdaSelection: データサブサンプリングによるディープラーニングトレーニングの高速化
- Authors: Minghe Zhang, Chaosheng Dong, Jinmiao Fu, Tianchen Zhou, Jia Liang,
Jia Liu, Bo Liu, Michinari Momma, Bryan Wang, Yan Gao, Yi Sun
- Abstract要約: 適応型サブサンプリング手法であるAdaSelectionを導入し,各ミニバッチ内の最も情報性の高いサブサンプルを同定する。
業界標準のベースラインと比較すると、AdaSelectionは一貫して優れたパフォーマンスを示している。
- 参考スコア(独自算出の注目度): 27.46630703428186
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this paper, we introduce AdaSelection, an adaptive sub-sampling method to
identify the most informative sub-samples within each minibatch to speed up the
training of large-scale deep learning models without sacrificing model
performance. Our method is able to flexibly combines an arbitrary number of
baseline sub-sampling methods incorporating the method-level importance and
intra-method sample-level importance at each iteration. The standard practice
of ad-hoc sampling often leads to continuous training with vast amounts of data
from production environments. To improve the selection of data instances during
forward and backward passes, we propose recording a constant amount of
information per instance from these passes. We demonstrate the effectiveness of
our method by testing it across various types of inputs and tasks, including
the classification tasks on both image and language datasets, as well as
regression tasks. Compared with industry-standard baselines, AdaSelection
consistently displays superior performance.
- Abstract(参考訳): 本稿では,各ミニバッチ内の最も有益なサブサンプルを識別し,モデル性能を犠牲にすることなく大規模ディープラーニングモデルのトレーニングを高速化する適応型サブサンプリング手法であるadaselectionを提案する。
本手法は,各イテレーションにおいて,メソッドレベルの重要度とメソッド内サンプルレベルの重要度を組み込んだ任意の数のベースラインサブサンプリング手法を柔軟に組み合わせることができる。
アドホックサンプリングの標準的なプラクティスは、プロダクション環境から大量のデータで連続的なトレーニングにつながることが多い。
前方および後方通過時のデータインスタンスの選択を改善するため,これらのパスから各インスタンスの情報を一定に記録することを提案する。
画像と言語の両方のデータセットの分類タスクや回帰タスクなど,さまざまな入力やタスクをまたいでテストすることにより,本手法の有効性を実証する。
業界標準のベースラインと比較すると、adaselectionは一貫して優れたパフォーマンスを示している。
関連論文リスト
- Self-Evolved Diverse Data Sampling for Efficient Instruction Tuning [47.02160072880698]
モデル自体が等しくあるいはそれ以上に効果的であるサブセットを積極的にサンプリングできる自己進化メカニズムを導入します。
データサンプリング技術の鍵は、選択したサブセットの多様性の向上にあります。
3つのデータセットとベンチマークにわたる大規模な実験は、DiverseEvolの有効性を示している。
論文 参考訳(メタデータ) (2023-11-14T14:10:40Z) - Towards Free Data Selection with General-Purpose Models [71.92151210413374]
望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。
アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。
FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
論文 参考訳(メタデータ) (2023-09-29T15:50:14Z) - Convolutional autoencoder-based multimodal one-class classification [80.52334952912808]
1クラス分類は、単一のクラスからのデータを用いた学習のアプローチを指す。
マルチモーダルデータに適した深層学習一クラス分類法を提案する。
論文 参考訳(メタデータ) (2023-09-25T12:31:18Z) - Towards General and Efficient Active Learning [20.888364610175987]
アクティブラーニングは、限られたアノテーション予算を利用するために最も有益なサンプルを選択することを目的としている。
本稿では,新しい汎用能動学習法(GEAL)を提案する。
提案手法は,同一モデルの単一パス推定を用いて,異なるデータセット上でデータ選択処理を行うことができる。
論文 参考訳(メタデータ) (2021-12-15T08:35:28Z) - Active Learning for Deep Visual Tracking [51.5063680734122]
畳み込みニューラルネットワーク(CNN)は近年,単一目標追跡タスクに成功している。
本稿では,ディープ・ビジュアル・トラッキングのためのアクティブ・ラーニング手法を提案する。
アクティブラーニングの指導のもと、トレーニングされた深層CNNモデルに基づくトラッカーは、ラベリングコストを低減しつつ、競合的なトラッキング性能を達成することができる。
論文 参考訳(メタデータ) (2021-10-17T11:47:56Z) - AutoSampling: Search for Effective Data Sampling Schedules [118.20014773014671]
モデル学習のためのサンプリングスケジュールを自動的に学習するAutoSampling法を提案する。
提案手法の有効性を示す様々な画像分類タスクに本手法を適用した。
論文 参考訳(メタデータ) (2021-05-28T09:39:41Z) - One Backward from Ten Forward, Subsampling for Large-Scale Deep Learning [35.0157090322113]
大規模機械学習システムは、しばしばプロダクション環境からの膨大なデータで継続的に訓練される。
ストリーミングデータの量は、リアルタイムのトレーニングサブシステムにとって重要な課題であり、アドホックサンプリングが標準のプラクティスである。
我々は,これらの前方パスからインスタンス毎の情報量を一定に記録することを提案する。
追加情報は、前方および後方のパスに参加するデータインスタンスの選択を測定可能に改善します。
論文 参考訳(メタデータ) (2021-04-27T11:29:02Z) - Adaptive Task Sampling for Meta-Learning [79.61146834134459]
数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。
一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
論文 参考訳(メタデータ) (2020-07-17T03:15:53Z) - Ensemble Wrapper Subsampling for Deep Modulation Classification [70.91089216571035]
受信した無線信号のサブサンプリングは、ハードウェア要件と信号処理アルゴリズムの計算コストを緩和するために重要である。
本稿では,無線通信システムにおけるディープラーニングを用いた自動変調分類のためのサブサンプリング手法を提案する。
論文 参考訳(メタデータ) (2020-05-10T06:11:13Z) - Efficient Deep Representation Learning by Adaptive Latent Space Sampling [16.320898678521843]
監視されたディープラーニングには、アノテーションを備えた大量のトレーニングサンプルが必要です。
本稿では,学習プロセスに供給される情報サンプルを適応的に選択する新しいトレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-19T22:17:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。