論文の概要: Repeated Random Sampling for Minimizing the Time-to-Accuracy of Learning

• arxiv url: http://arxiv.org/abs/2305.18424v1
• Date: Sun, 28 May 2023 20:38:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 21:12:33.312190
• Title: Repeated Random Sampling for Minimizing the Time-to-Accuracy of Learning
• Title（参考訳）: 学習時間と精度の最小化のための繰り返しランダムサンプリング
• Authors: Patrik Okanovic, Roger Waleffe, Vasilis Mageirakos, Konstantinos E. Nikolakakis, Amin Karbasi, Dionysis Kalogerias, Nezihe Merve G\"urel, Theodoros Rekatsinas
• Abstract要約: ランダム・サブセットの繰り返しサンプリング(RS2)は、強力だが見落とされたランダムサンプリング戦略である。 我々は、ImageNetを含む4つのデータセットにわたる30の最先端データプルーニングとデータ蒸留法に対してRS2をテストする。 その結果,RS2は既存の手法に比べて時間と精度を著しく低下させることがわかった。
• 参考スコア（独自算出の注目度）: 28.042568086423298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Methods for carefully selecting or generating a small set of training data to learn from, i.e., data pruning, coreset selection, and data distillation, have been shown to be effective in reducing the ever-increasing cost of training neural networks. Behind this success are rigorously designed strategies for identifying informative training examples out of large datasets. However, these strategies come with additional computational costs associated with subset selection or data distillation before training begins, and furthermore, many are shown to even under-perform random sampling in high data compression regimes. As such, many data pruning, coreset selection, or distillation methods may not reduce 'time-to-accuracy', which has become a critical efficiency measure of training deep neural networks over large datasets. In this work, we revisit a powerful yet overlooked random sampling strategy to address these challenges and introduce an approach called Repeated Sampling of Random Subsets (RSRS or RS2), where we randomly sample the subset of training data for each epoch of model training. We test RS2 against thirty state-of-the-art data pruning and data distillation methods across four datasets including ImageNet. Our results demonstrate that RS2 significantly reduces time-to-accuracy compared to existing techniques. For example, when training on ImageNet in the high-compression regime (using less than 10% of the dataset each epoch), RS2 yields accuracy improvements up to 29% compared to competing pruning methods while offering a runtime reduction of 7x. Beyond the above meta-study, we provide a convergence analysis for RS2 and discuss its generalization capability. The primary goal of our work is to establish RS2 as a competitive baseline for future data selection or distillation techniques aimed at efficient training.
• Abstract（参考訳）: データプルーニング、コアセット選択、データ蒸留等から学習するための少量のトレーニングデータを慎重に選択または生成する方法は、ニューラルネットワークのトレーニングコストの増大を減少させるのに有効であることが示されている。 この成功の背後には、大規模なデータセットから有益なトレーニング例を特定するための厳密な設計戦略がある。 しかし、これらの戦略は、訓練開始前にサブセットの選択やデータの蒸留に関連する追加計算コストを伴い、さらに、高データ圧縮方式では、多種多様でないランダムサンプリングさえ示される。 そのため、多くのデータプルーニング、コアセット選択、蒸留法は、大規模データセット上でディープニューラルネットワークをトレーニングするための重要な効率指標となっている「正確化までの時間」を削減できない。 本研究では,これらの課題に対処するために,強力で見過ごされているランダムサンプリング戦略を再検討し,モデルのトレーニング毎にトレーニングデータのサブセットをランダムにサンプリングする,ランダムサブセット(rsrまたはrs2)を繰り返しサンプリングする手法を導入する。 我々は、imagenetを含む4つのデータセットにまたがる30の最先端データプルーニングとデータ蒸留法に対してrs2をテストする。 その結果,RS2は既存の手法に比べて時間と精度を著しく低下させることがわかった。 例えば、圧縮方式(各エポックのデータセットの10%未満を使用して)でimagenetをトレーニングすると、rs2は、競合するpruningメソッドと比較して29%の精度向上を実現し、ランタイムの7倍の削減を提供する。 上記のメタスタディを超えて、rs2の収束解析を行い、その一般化機能について論じる。 私たちの研究の主な目標は、効率的なトレーニングを目的とした将来のデータ選択や蒸留技術のための競合ベースラインとしてrs2を確立することです。

関連論文リスト

• GDeR: Safeguarding Efficiency, Balancing, and Robustness via Prototypical Graph Pruning [44.401418612374286]
  トレーニング可能なプロトタイプを用いて,プロセス中のトレーニングを更新するための新しいソフトプルーニング手法であるGDeRを導入する。 GDeRは、トレーニングサンプルの30%削減で、完全なデータセットのパフォーマンスを達成または上回る。 また、不均衡なトレーニングやノイズの多いトレーニングシナリオにおいて、最先端のプルーニング手法よりも優れています。
  論文  参考訳（メタデータ） (2024-10-17T16:56:01Z)
• A Study in Dataset Pruning for Image Super-Resolution [9.512648704408095]
  損失値に基づいて選択したトレーニングサンプルのコアセットにデータセットを還元する,新たなアプローチを導入する。 データセット全体のトレーニングで得られた結果に匹敵する、あるいは上回る結果が得られます。
  論文  参考訳（メタデータ） (2024-03-25T18:16:34Z)
• Spanning Training Progress: Temporal Dual-Depth Scoring (TDDS) for Enhanced Dataset Pruning [50.809769498312434]
  我々は、時間的デュアルディープス・スコーリング(TDDS)と呼ばれる新しいデータセット・プルーニング手法を提案する。 本手法は,10%のトレーニングデータで54.51%の精度を達成し,ランダム選択を7.83%以上,他の比較手法を12.69%以上上回る結果を得た。
  論文  参考訳（メタデータ） (2023-11-22T03:45:30Z)
• Soft Random Sampling: A Theoretical and Empirical Analysis [59.719035355483875]
  ソフトランダムサンプリング(SRS)は、大量のデータを扱う際に、効率的なディープニューラルネットワークに対して単純だが効果的なアプローチである。 それは、各エポックに設定された各データセットから、ランダムに置換された均一な速度を選択する。 実世界の産業規模で重要な競争力を持つ、強力で競争力のある戦略であることが示されている。
  論文  参考訳（メタデータ） (2023-11-21T17:03:21Z)
• KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
  深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。 我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。 本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
  論文  参考訳（メタデータ） (2023-10-16T06:19:29Z)
• Dataset Quantization [72.61936019738076]
  大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。 DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
  論文  参考訳（メタデータ） (2023-08-21T07:24:29Z)
• Dataset Distillation by Matching Training Trajectories [75.9031209877651]
  そこで本研究では,実データと同じような状態にネットワークを誘導するために,蒸留データを最適化する新しい定式化を提案する。 ネットワークが与えられたら、蒸留データを何回か繰り返して訓練し、合成訓練されたパラメータと実データで訓練されたパラメータとの距離に関して蒸留データを最適化する。 本手法は既存の手法よりも優れており,高解像度の視覚データを蒸留することができる。
  論文  参考訳（メタデータ） (2022-03-22T17:58:59Z)
• Accelerating Deep Learning with Dynamic Data Pruning [0.0]
  ディープラーニングは、最先端のネットワークをトレーニングするために強力なコンピューティングシステムへのアクセスを必要とするため、違法にコストがかかるようになった。 forget scoresやGraNd/EL2N scoresといった以前の作業では、完全なデータセット内の重要なサンプルを特定し、残りのサンプルを刈り取ることで、エポック毎のイテレーションを減らすことができる。 本稿では,強化学習手法に基づく2つのアルゴリズムを提案し,ランダムな動的手法よりも高い精度でサンプルを動的にプーンする。
  論文  参考訳（メタデータ） (2021-11-24T16:47:34Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。