論文の概要: AutoSampling: Search for Effective Data Sampling Schedules

• arxiv url: http://arxiv.org/abs/2105.13695v1
• Date: Fri, 28 May 2021 09:39:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-31 13:36:33.145098
• Title: AutoSampling: Search for Effective Data Sampling Schedules
• Title（参考訳）: AutoSampling: 効果的なデータサンプリングスケジュールの検索
• Authors: Ming Sun, Haoxuan Dou, Baopu Li, Lei Cui, Junjie Yan, Wanli Ouyang
• Abstract要約: モデル学習のためのサンプリングスケジュールを自動的に学習するAutoSampling法を提案する。 提案手法の有効性を示す様々な画像分類タスクに本手法を適用した。
• 参考スコア（独自算出の注目度）: 118.20014773014671
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data sampling acts as a pivotal role in training deep learning models. However, an effective sampling schedule is difficult to learn due to the inherently high dimension of parameters in learning the sampling schedule. In this paper, we propose an AutoSampling method to automatically learn sampling schedules for model training, which consists of the multi-exploitation step aiming for optimal local sampling schedules and the exploration step for the ideal sampling distribution. More specifically, we achieve sampling schedule search with shortened exploitation cycle to provide enough supervision. In addition, we periodically estimate the sampling distribution from the learned sampling schedules and perturb it to search in the distribution space. The combination of two searches allows us to learn a robust sampling schedule. We apply our AutoSampling method to a variety of image classification tasks illustrating the effectiveness of the proposed method.
• Abstract（参考訳）: データサンプリングは、ディープラーニングモデルのトレーニングにおいて重要な役割を果たす。 しかし,サンプリングスケジュールの学習において,パラメータが本質的に高いため,効果的なサンプリングスケジュールの学習は困難である。 本稿では,最適局所サンプリングスケジュールを目的とした複数探索ステップと理想サンプリング分布の探索ステップからなるモデルトレーニングのためのサンプリングスケジュールを自動的に学習する自動サンプリング手法を提案する。 より具体的には、十分な監視を提供するために、実施サイクルを短縮したサンプリングスケジュール探索を実現する。 さらに,学習したサンプリングスケジュールから定期的にサンプリング分布を推定し,その分布空間を探索する。 2つの検索の組み合わせによって、堅牢なサンプリングスケジュールを学習できます。 本稿では,提案手法の有効性を示す様々な画像分類タスクに対して,自動サンプリング手法を適用する。

関連論文リスト

• Swift Sampler: Efficient Learning of Sampler by 10 Parameters [5.595723519561982]
  効果的なデータサンプリング器は、トレーニングデータに対して適切なサンプリング確率を割り当てる。 textbfSSは高効率で大規模データセットに適用できる。
  論文  参考訳（メタデータ） (2024-10-08T00:26:29Z)
• Adaptive teachers for amortized samplers [76.88721198565861]
  償却推論(英: Amortized inference)とは、ニューラルネットワークなどのパラメトリックモデルをトレーニングし、正確なサンプリングが可能な所定の非正規化密度で分布を近似するタスクである。 オフ・ポリティクスのRLトレーニングは多様でハイ・リワードな候補の発見を促進するが、既存の手法は依然として効率的な探索の課題に直面している。 そこで本研究では,高次領域の優先順位付けにより,初等補正標本作成者(学生)の指導を指導する適応学習分布(教師)を提案する。
  論文  参考訳（メタデータ） (2024-10-02T11:33:13Z)
• Align Your Steps: Optimizing Sampling Schedules in Diffusion Models [63.927438959502226]
  拡散モデル(DM)は、視覚領域以降における最先端の生成モデリングアプローチとして確立されている。 DMの重大な欠点は、サンプリング速度の遅いことであり、大規模なニューラルネットワークによる多くのシーケンシャルな関数評価に依存している。 本稿では,DMのサンプリングスケジュールを高品質な出力に最適化する汎用的,原理的な手法を提案する。
  論文  参考訳（メタデータ） (2024-04-22T18:18:41Z)
• Balanced Data Sampling for Language Model Training with Clustering [96.46042695333655]
  本稿では,学習データのテキスト分布のバランスをとるためにClusterClip Smplingを提案する。 大規模な実験は、ClusterClip Smplingの有効性を検証する。
  論文  参考訳（メタデータ） (2024-02-22T13:20:53Z)
• AdaSelection: Accelerating Deep Learning Training through Data Subsampling [27.46630703428186]
  適応型サブサンプリング手法であるAdaSelectionを導入し,各ミニバッチ内の最も情報性の高いサブサンプルを同定する。 業界標準のベースラインと比較すると、AdaSelectionは一貫して優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-06-19T07:01:28Z)
• Importance Sampling for Stochastic Gradient Descent in Deep Neural Networks [0.0]
  ディープニューラルネットワークのトレーニングのための重要サンプリングが広く研究されている。 本稿では,本研究領域に固有の課題について概説する。 本稿では,所定のサンプリング方式の品質を評価するための指標を提案する。
  論文  参考訳（メタデータ） (2023-03-29T08:35:11Z)
• Sampling Through the Lens of Sequential Decision Making [9.101505546901999]
  我々はアダプティブ・サンプル・ウィズ・リワード(ASR)と呼ばれる報酬誘導型サンプリング戦略を提案する。 提案手法は,サンプリング過程を最適に調整し,最適性能を実現する。 情報検索とクラスタリングの実証的な結果は、異なるデータセット間でのASRのスーパーブパフォーマンスを示している。
  論文  参考訳（メタデータ） (2022-08-17T04:01:29Z)
• Optimal Importance Sampling for Federated Learning [57.14673504239551]
  フェデレートラーニングには、集中型と分散化された処理タスクが混在する。 エージェントとデータのサンプリングは概して一様であるが、本研究では一様でないサンプリングについて考察する。 エージェント選択とデータ選択の両方に最適な重要サンプリング戦略を導出し、置換のない一様サンプリングが元のFedAvgアルゴリズムの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2020-10-26T14:15:33Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• Efficient Deep Representation Learning by Adaptive Latent Space Sampling [16.320898678521843]
  監視されたディープラーニングには、アノテーションを備えた大量のトレーニングサンプルが必要です。 本稿では,学習プロセスに供給される情報サンプルを適応的に選択する新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-19T22:17:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。