論文の概要: AutoSampling: Search for Effective Data Sampling Schedules
- arxiv url: http://arxiv.org/abs/2105.13695v1
- Date: Fri, 28 May 2021 09:39:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-31 13:36:33.145098
- Title: AutoSampling: Search for Effective Data Sampling Schedules
- Title(参考訳): AutoSampling: 効果的なデータサンプリングスケジュールの検索
- Authors: Ming Sun, Haoxuan Dou, Baopu Li, Lei Cui, Junjie Yan, Wanli Ouyang
- Abstract要約: モデル学習のためのサンプリングスケジュールを自動的に学習するAutoSampling法を提案する。
提案手法の有効性を示す様々な画像分類タスクに本手法を適用した。
- 参考スコア(独自算出の注目度): 118.20014773014671
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data sampling acts as a pivotal role in training deep learning models.
However, an effective sampling schedule is difficult to learn due to the
inherently high dimension of parameters in learning the sampling schedule. In
this paper, we propose an AutoSampling method to automatically learn sampling
schedules for model training, which consists of the multi-exploitation step
aiming for optimal local sampling schedules and the exploration step for the
ideal sampling distribution. More specifically, we achieve sampling schedule
search with shortened exploitation cycle to provide enough supervision. In
addition, we periodically estimate the sampling distribution from the learned
sampling schedules and perturb it to search in the distribution space. The
combination of two searches allows us to learn a robust sampling schedule. We
apply our AutoSampling method to a variety of image classification tasks
illustrating the effectiveness of the proposed method.
- Abstract(参考訳): データサンプリングは、ディープラーニングモデルのトレーニングにおいて重要な役割を果たす。
しかし,サンプリングスケジュールの学習において,パラメータが本質的に高いため,効果的なサンプリングスケジュールの学習は困難である。
本稿では,最適局所サンプリングスケジュールを目的とした複数探索ステップと理想サンプリング分布の探索ステップからなるモデルトレーニングのためのサンプリングスケジュールを自動的に学習する自動サンプリング手法を提案する。
より具体的には、十分な監視を提供するために、実施サイクルを短縮したサンプリングスケジュール探索を実現する。
さらに,学習したサンプリングスケジュールから定期的にサンプリング分布を推定し,その分布空間を探索する。
2つの検索の組み合わせによって、堅牢なサンプリングスケジュールを学習できます。
本稿では,提案手法の有効性を示す様々な画像分類タスクに対して,自動サンプリング手法を適用する。
関連論文リスト
- Balanced Data Sampling for Language Model Training with Clustering [102.21099453105592]
本稿では,学習データのテキスト分布のバランスをとるためにClusterClip Smplingを提案する。
大規模な実験は、ClusterClip Smplingの有効性を検証する。
論文 参考訳(メタデータ) (2024-02-22T13:20:53Z) - AdaSelection: Accelerating Deep Learning Training through Data
Subsampling [27.46630703428186]
適応型サブサンプリング手法であるAdaSelectionを導入し,各ミニバッチ内の最も情報性の高いサブサンプルを同定する。
業界標準のベースラインと比較すると、AdaSelectionは一貫して優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2023-06-19T07:01:28Z) - Importance Sampling for Stochastic Gradient Descent in Deep Neural
Networks [0.0]
ディープニューラルネットワークのトレーニングのための重要サンプリングが広く研究されている。
本稿では,本研究領域に固有の課題について概説する。
本稿では,所定のサンプリング方式の品質を評価するための指標を提案する。
論文 参考訳(メタデータ) (2023-03-29T08:35:11Z) - PCB-RandNet: Rethinking Random Sampling for LIDAR Semantic Segmentation
in Autonomous Driving Scene [15.516687293651795]
大規模LiDAR点雲のセマンティックセグメンテーションのための新しいポーラシリンダバランスランダムサンプリング法を提案する。
さらに,セグメント化性能を向上し,異なるサンプリング法下でのモデルのばらつきを低減するため,サンプリング一貫性損失が導入された。
提案手法は,SemanticKITTIベンチマークとSemanticPOSSベンチマークの両方で優れた性能を示し,それぞれ2.8%と4.0%の改善を実現している。
論文 参考訳(メタデータ) (2022-09-28T02:59:36Z) - Sampling Through the Lens of Sequential Decision Making [9.101505546901999]
我々はアダプティブ・サンプル・ウィズ・リワード(ASR)と呼ばれる報酬誘導型サンプリング戦略を提案する。
提案手法は,サンプリング過程を最適に調整し,最適性能を実現する。
情報検索とクラスタリングの実証的な結果は、異なるデータセット間でのASRのスーパーブパフォーマンスを示している。
論文 参考訳(メタデータ) (2022-08-17T04:01:29Z) - Uniform Sampling over Episode Difficulty [55.067544082168624]
本稿では,その難易度に基づいて,エピソードサンプリング分布を近似する手法を提案する。
提案手法はアルゴリズムに依存しないため,これらの知見を利用して数発の学習精度を向上させることができる。
論文 参考訳(メタデータ) (2021-08-03T17:58:54Z) - Beyond Farthest Point Sampling in Point-Wise Analysis [52.218037492342546]
本稿では,ポイントワイズ分析タスクのための新しいデータ駆動型サンプル学習手法を提案する。
我々はサンプルと下流のアプリケーションを共同で学習する。
実験により, 従来のベースライン法に比べて, サンプルとタスクの同時学習が顕著に改善することが示された。
論文 参考訳(メタデータ) (2021-07-09T08:08:44Z) - Optimal Importance Sampling for Federated Learning [57.14673504239551]
フェデレートラーニングには、集中型と分散化された処理タスクが混在する。
エージェントとデータのサンプリングは概して一様であるが、本研究では一様でないサンプリングについて考察する。
エージェント選択とデータ選択の両方に最適な重要サンプリング戦略を導出し、置換のない一様サンプリングが元のFedAvgアルゴリズムの性能を向上させることを示す。
論文 参考訳(メタデータ) (2020-10-26T14:15:33Z) - Adaptive Task Sampling for Meta-Learning [79.61146834134459]
数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。
一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
論文 参考訳(メタデータ) (2020-07-17T03:15:53Z) - Efficient Deep Representation Learning by Adaptive Latent Space Sampling [16.320898678521843]
監視されたディープラーニングには、アノテーションを備えた大量のトレーニングサンプルが必要です。
本稿では,学習プロセスに供給される情報サンプルを適応的に選択する新しいトレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-19T22:17:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。