論文の概要: Prioritized Training on Points that are Learnable, Worth Learning, and Not Yet Learnt

• arxiv url: http://arxiv.org/abs/2206.07137v1
• Date: Tue, 14 Jun 2022 19:49:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-19 00:43:46.662233
• Title: Prioritized Training on Points that are Learnable, Worth Learning, and Not Yet Learnt
• Title（参考訳）: 学習しやすく、価値があり、まだ学習していない点の優先訓練
• Authors: S\"oren Mindermann, Jan Brauner, Muhammed Razzak, Mrinank Sharma, Andreas Kirsch, Winnie Xu, Benedikt H\"oltgen, Aidan N. Gomez, Adrien Morisot, Sebastian Farquhar, Yarin Gal
• Abstract要約: 我々は、Webスケールデータのトレーニングを高速化するために、Reduceible Holdout Loss Selection (RHO-LOSS)を導入する。 RHO-LOSSは学習可能で、学習価値があり、まだ学習されていないポイントを選択する。 大規模なウェブスクレイプ画像データセットであるClathing-1Mでは、RHO-LOSSは18倍のステップでトレーニングを行い、均一なデータシャッフルよりも2%高い最終精度を達成した。
• 参考スコア（独自算出の注目度）: 26.60669599874686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training on web-scale data can take months. But much computation and time is wasted on redundant and noisy points that are already learnt or not learnable. To accelerate training, we introduce Reducible Holdout Loss Selection (RHO-LOSS), a simple but principled technique which selects approximately those points for training that most reduce the model's generalization loss. As a result, RHO-LOSS mitigates the weaknesses of existing data selection methods: techniques from the optimization literature typically select 'hard' (e.g. high loss) points, but such points are often noisy (not learnable) or less task-relevant. Conversely, curriculum learning prioritizes 'easy' points, but such points need not be trained on once learned. In contrast, RHO-LOSS selects points that are learnable, worth learning, and not yet learnt. RHO-LOSS trains in far fewer steps than prior art, improves accuracy, and speeds up training on a wide range of datasets, hyperparameters, and architectures (MLPs, CNNs, and BERT). On the large web-scraped image dataset Clothing-1M, RHO-LOSS trains in 18x fewer steps and reaches 2% higher final accuracy than uniform data shuffling.
• Abstract（参考訳）: webスケールデータのトレーニングには数ヶ月を要する。 しかし、多くの計算と時間は、既に学習されているか、学習できない冗長で騒がしい点に浪費される。 学習を加速するために,モデルの一般化損失を最も少なくするトレーニングポイントをほぼ選択する,単純だが原則化された手法であるReduceible Holdout Loss Selection (RHO-LOSS)を導入する。 その結果、RHO-LOSSは既存のデータ選択手法の弱点を緩和する:最適化文献のテクニックは一般に'hard'(例えば高い損失)の点を選択するが、そのような点はしばしばノイズ(学習不可能)かタスク関連性の少ない。 逆に、カリキュラム学習は「簡単な」ポイントを優先するが、そのようなポイントは一度学んだら訓練する必要はない。 対照的に、RHO-LOSSは学習可能な点、学習に値する点、まだ学習されていない点を選択する。 RHO-LOSSは、先行技術よりもはるかに少ないステップでトレーニングを行い、精度を改善し、幅広いデータセット、ハイパーパラメータ、アーキテクチャ(MLP、CNN、BERT)でのトレーニングを高速化する。 大型の画像データセットwears-1mでは、rho-lossは18倍の歩数で、均一なデータシャッフルよりも2%精度が高い。

関連論文リスト

• Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
  カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。 我々はその2次情報を経験的フィッシャー行列を通して活用する。 ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
  論文  参考訳（メタデータ） (2024-10-24T18:02:11Z)
• Leveraging Skills from Unlabeled Prior Data for Efficient Online Exploration [54.8229698058649]
  本研究では,未ラベルの事前軌跡データを用いて効率的な探索戦略を学習する方法について検討する。 我々の手法 SUPE (Skills from Unlabeled Prior Data for Exploration) は、これらのアイデアの慎重な組み合わせがそれらの利点を兼ね備えていることを示す。 実験により,SUPEが従来の戦略を確実に上回り,長い水平・スパース・リワードタスクの一組の解決に成功したことを実証的に示す。
  論文  参考訳（メタデータ） (2024-10-23T17:58:45Z)
• Heterogeneous Graph Neural Networks with Loss-decrease-aware Curriculum Learning [1.2224845909459847]
  不均一グラフニューラルネットワーク(HGNN)は、異種情報ネットワーク(HIN)の処理において優れた性能を発揮する。 従来,HGNNを学習するためのカリキュラム学習戦略の活用が検討されてきた。 新たな損失低減対応トレーニングスケジュール(LDTS)を提案する。
  論文  参考訳（メタデータ） (2024-05-10T15:06:53Z)
• CPT: Competence-progressive Training Strategy for Few-shot Node Classification [11.17199104891692]
  グラフニューラルネットワーク(GNN)はノード分類に大きな進歩を遂げているが、その成功はトレーニングデータ内のクラス毎の十分なラベル付きノードに依存している。 伝統的なエピソディックなメタラーニングアプローチはこの領域で有望であるが、固有の制限に直面している。 メタラーナーのプログレッシブ・コンピテンスにタスクの難易度を合わせる2段階のカリキュラム学習手法であるCPTを紹介する。
  論文  参考訳（メタデータ） (2024-02-01T09:36:56Z)
• REDUCR: Robust Data Downsampling Using Class Priority Reweighting [15.327707569897617]
  この研究は、クラス優先度の再重み付けを使用する堅牢で効率的なデータダウンサンプリング手法であるREDUCRを導入している。 視覚およびテキスト分類タスクにおけるREDUCRのデータ効率とロバスト性能を実証する。
  論文  参考訳（メタデータ） (2023-12-01T10:34:22Z)
• EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
  本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
  論文  参考訳（メタデータ） (2022-11-17T17:38:55Z)
• Learning Rate Curriculum [75.98230528486401]
  ラーニングレートカリキュラム(LeRaC)と呼ばれる新しいカリキュラム学習手法を提案する。 LeRaCは、ニューラルネットワークの各レイヤ毎に異なる学習率を使用して、最初のトレーニングエポックの間、データに依存しないカリキュラムを作成する。 Smoothing(CBS)によるCurriculum(Curriculum)との比較を行った。
  論文  参考訳（メタデータ） (2022-05-18T18:57:36Z)
• Accelerating Deep Learning with Dynamic Data Pruning [0.0]
  ディープラーニングは、最先端のネットワークをトレーニングするために強力なコンピューティングシステムへのアクセスを必要とするため、違法にコストがかかるようになった。 forget scoresやGraNd/EL2N scoresといった以前の作業では、完全なデータセット内の重要なサンプルを特定し、残りのサンプルを刈り取ることで、エポック毎のイテレーションを減らすことができる。 本稿では,強化学習手法に基づく2つのアルゴリズムを提案し,ランダムな動的手法よりも高い精度でサンプルを動的にプーンする。
  論文  参考訳（メタデータ） (2021-11-24T16:47:34Z)
• Prioritized training on points that are learnable, worth learning, and not yet learned (workshop version) [41.3646395594531]
  Goldilocks Selectionは、"正しい"トレーニングポイントのシーケンスを選択する、より高速なモデルトレーニングのためのテクニックである。 我々は,情報理論獲得関数,すなわち再現可能なバリデーション損失を提案し,それを小さなプロキシモデルであるGoldiProxで計算する。
  論文  参考訳（メタデータ） (2021-07-06T12:08:44Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• Don't Wait, Just Weight: Improving Unsupervised Representations by Learning Goal-Driven Instance Weights [92.16372657233394]
  自己教師付き学習技術は、役に立たないデータから有用な表現を学習することで、パフォーマンスを向上させることができる。 ベイジアンのインスタンスの重み付けを学習することで、下流の分類精度を向上させることができることを示す。 本研究では,STL-10 と Visual Decathlon の自己教師型回転予測タスクを用いて,BetaDataWeighter の評価を行った。
  論文  参考訳（メタデータ） (2020-06-22T15:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。