論文の概要: Progressive Data Dropout: An Embarrassingly Simple Approach to Faster Training

• arxiv url: http://arxiv.org/abs/2505.22342v2
• Date: Fri, 06 Jun 2025 09:56:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.016945
• Title: Progressive Data Dropout: An Embarrassingly Simple Approach to Faster Training
• Title（参考訳）: プログレッシブなデータドロップアウト: 高速トレーニングへの恥ずかしいほど単純なアプローチ
• Authors: Shriram M S, Xinyue Hao, Shihao Hou, Yang Lu, Laura Sevilla-Lara, Anurag Arnab, Shreyank N Gowda,
• Abstract要約: ハードデータマイニングとドロップアウトの洞察を活用するための,代替的なトレーニングパラダイムを提案する。 提案されたプログレッシブデータドロップアウトは、有効エポックの数をベースラインの12.4%に削減する。 驚くべきことに,提案手法は最大4.82%の精度向上を実現している。
• 参考スコア（独自算出の注目度）: 26.65053392031144
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The success of the machine learning field has reliably depended on training on large datasets. While effective, this trend comes at an extraordinary cost. This is due to two deeply intertwined factors: the size of models and the size of datasets. While promising research efforts focus on reducing the size of models, the other half of the equation remains fairly mysterious. Indeed, it is surprising that the standard approach to training remains to iterate over and over, uniformly sampling the training dataset. In this paper we explore a series of alternative training paradigms that leverage insights from hard-data-mining and dropout, simple enough to implement and use that can become the new training standard. The proposed Progressive Data Dropout reduces the number of effective epochs to as little as 12.4% of the baseline. This savings actually do not come at any cost for accuracy. Surprisingly, the proposed method improves accuracy by up to 4.82%. Our approach requires no changes to model architecture or optimizer, and can be applied across standard training pipelines, thus posing an excellent opportunity for wide adoption. Code can be found here: https://github.com/bazyagami/LearningWithRevision
• Abstract（参考訳）: 機械学習分野の成功は、大規模なデータセットのトレーニングに確実に依存している。 効果はあるものの、この傾向は驚くほどのコストがかかる。 これは、モデルのサイズとデータセットのサイズという、深く絡み合った2つの要因による。 有望な研究努力はモデルのサイズを減らすことに重点を置いているが、残りの半分はいまだに謎に包まれている。 実際、トレーニングの標準的なアプローチが、トレーニングデータセットを均一にサンプリングして、何度も繰り返し続けるのは驚くべきことです。 本稿では、ハードデータマイニングとドロップアウトの洞察を活用して、新しいトレーニング標準となるための、実装と使用が簡単な、代替トレーニングパラダイムのシリーズについて検討する。 提案されたプログレッシブデータドロップアウトは、有効エポックの数をベースラインの12.4%に削減する。 この節約は、正確にはいかなるコストもかからない。 驚くべきことに,提案手法は最大4.82%の精度向上を実現している。 当社のアプローチでは、モデルアーキテクチャやオプティマイザを変更する必要はなく、標準的なトレーニングパイプラインに適用することが可能です。 コードはここにある。 https://github.com/bazyagami/LearningWithRevision

関連論文リスト

• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
  深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。 我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。 本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
  論文  参考訳（メタデータ） (2023-10-16T06:19:29Z)
• D4: Improving LLM Pretraining via Document De-Duplication and Diversification [38.84592304799403]
  事前訓練されたモデル埋め込みによる慎重なデータ選択は、トレーニングをスピードアップできることを示す。 また、データ繰り返しがベースライントレーニングよりインテリジェントに優れていることも示しています。
  論文  参考訳（メタデータ） (2023-08-23T17:58:14Z)
• On minimizing the training set fill distance in machine learning regression [0.552480439325792]
  本研究では,選択した集合の充填距離を最小化することを目的としたデータ選択手法を提案する。 FPSを用いてトレーニングセットを選択することで、ガウスカーネル回帰アプローチの特定の場合のモデルの安定性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-07-20T16:18:33Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Gradient-Free Structured Pruning with Unlabeled Data [57.999191898036706]
  ラベルのないデータのみを使用する勾配のない構造化プルーニングフレームワークを提案する。 元々のFLOPカウントの最大40%は、考慮されたすべてのタスクで4%未満の精度で削減できる。
  論文  参考訳（メタデータ） (2023-03-07T19:12:31Z)
• Accelerating Deep Learning with Dynamic Data Pruning [0.0]
  ディープラーニングは、最先端のネットワークをトレーニングするために強力なコンピューティングシステムへのアクセスを必要とするため、違法にコストがかかるようになった。 forget scoresやGraNd/EL2N scoresといった以前の作業では、完全なデータセット内の重要なサンプルを特定し、残りのサンプルを刈り取ることで、エポック毎のイテレーションを減らすことができる。 本稿では,強化学習手法に基づく2つのアルゴリズムを提案し,ランダムな動的手法よりも高い精度でサンプルを動的にプーンする。
  論文  参考訳（メタデータ） (2021-11-24T16:47:34Z)
• Learning Fast Sample Re-weighting Without Reward Data [41.92662851886547]
  本稿では,新たな報酬データを必要としない学習ベース高速サンプル再重み付け手法を提案する。 実験により,提案手法は,ラベルノイズや長い尾の認識に関する芸術的状況と比較して,競争力のある結果が得られることを示した。
  論文  参考訳（メタデータ） (2021-09-07T17:30:56Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。