論文の概要: How Important is Importance Sampling for Deep Budgeted Training?

• arxiv url: http://arxiv.org/abs/2110.14283v1
• Date: Wed, 27 Oct 2021 09:03:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 14:25:04.546138
• Title: How Important is Importance Sampling for Deep Budgeted Training?
• Title（参考訳）: 深層予算訓練における重要度測定はどの程度重要か
• Authors: Eric Arazo, Diego Ortego, Paul Albert, Noel E. O'Connor, Kevin McGuinness
• Abstract要約: 本研究は,予算制約が重要サンプリング手法やデータ拡張手法とどのように相互作用するかを考察する。 予算の制約下では、一様サンプリングよりも重要サンプリングアプローチが一貫した改善を提供していないことを示す。
• 参考スコア（独自算出の注目度）: 17.264550056296915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long iterative training processes for Deep Neural Networks (DNNs) are commonly required to achieve state-of-the-art performance in many computer vision tasks. Importance sampling approaches might play a key role in budgeted training regimes, i.e. when limiting the number of training iterations. These approaches aim at dynamically estimating the importance of each sample to focus on the most relevant and speed up convergence. This work explores this paradigm and how a budget constraint interacts with importance sampling approaches and data augmentation techniques. We show that under budget restrictions, importance sampling approaches do not provide a consistent improvement over uniform sampling. We suggest that, given a specific budget, the best course of action is to disregard the importance and introduce adequate data augmentation; e.g. when reducing the budget to a 30% in CIFAR-10/100, RICAP data augmentation maintains accuracy, while importance sampling does not. We conclude from our work that DNNs under budget restrictions benefit greatly from variety in the training set and that finding the right samples to train on is not the most effective strategy when balancing high performance with low computational requirements. Source code available at https://git.io/JKHa3 .
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の長期反復トレーニングプロセスは、多くのコンピュータビジョンタスクで最先端のパフォーマンスを達成するために一般的に必要である。 重要サンプリングアプローチは、予算化されたトレーニング体制、すなわちトレーニングイテレーションの数を制限する場合において重要な役割を果たす可能性がある。 これらのアプローチは、各サンプルの重要性を動的に推定し、最も関連性の高い収束とスピードアップに焦点をあてることを目的としている。 この研究は、このパラダイムと予算制約がどのように重要サンプリングアプローチやデータ拡張技術と相互作用するかを探求する。 予算制約の下では、重要サンプリングアプローチは一様サンプリングよりも一貫した改善を提供していないことを示す。 例えば、予算をCIFAR-10/100の30%に減らすと、RICAPデータ増減は精度を保ちながら、重要サンプリングは行わない。 我々は,予算制約下でのdnnはトレーニングセットの多種多様さから大きなメリットがあり,高い性能と低い計算要件のバランスをとる上で,適切なサンプルを見つけることは最も効果的な戦略ではないと結論づけた。 ソースコードはhttps://git.io/jkha3。

関連論文リスト

• Enhancing Adaptive Mixed-Criticality Scheduling with Deep Reinforcement Learning [0.0]
  我々は,Deep-Q Networkに基づく深層強化学習(DRL)アプローチにより,適応混合臨界(AMC)を強化した。 DRLエージェントはオフラインで訓練され、実行時に予算超過を避けるためにタスクの低臨界度予算を調整する。 その結果、各タスクの予算が実行時間分布のサンプリングに基づいて選択された場合でも、エージェントは予算オーバーランを少なくとも50%削減できることがわかった。
  論文  参考訳（メタデータ） (2024-11-01T13:29:33Z)
• How Much Data are Enough? Investigating Dataset Requirements for Patch-Based Brain MRI Segmentation Tasks [74.21484375019334]
  ディープニューラルネットワークを確実にトレーニングするには、大規模なデータセットへのアクセスが必要である。 モデル開発に関連する時間的・経済的コストを緩和するためには,満足度の高いモデルをトレーニングするために必要なデータの量を明確に理解することが重要である。 本稿では,パッチベースのセグメンテーションネットワークのトレーニングに必要なアノテートデータの量を推定するための戦略的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-04-04T13:55:06Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Where Should I Spend My FLOPS? Efficiency Evaluations of Visual Pre-training Methods [29.141145775835106]
  固定されたFLOP予算が与えられた場合、代表的な視覚的タスクに対して高い正確性を得るために最適なデータセット、モデル、そして(自己監督的な)トレーニング方法は何ですか? 5つの大規模データセット(JFT-300M, ALIGN, ImageNet-1K, ImageNet-21K, COCO)と6つの事前学習方法(CLIP, DINO, SimCLR, BYOL, Masked Autoencoding, and supervised)を検討した。 本稿の結果は,自己管理手法が本質的に大規模で未処理なデータにスケールする,という一般的な仮定に疑問を投げかけるものである。
  論文  参考訳（メタデータ） (2022-09-30T17:04:55Z)
• How Much More Data Do I Need? Estimating Requirements for Downstream Tasks [99.44608160188905]
  小さなトレーニングデータセットと学習アルゴリズムがあれば、ターゲットの検証やテストのパフォーマンスに到達するのに、どれくらいのデータが必要か? データ要求を過大評価または過小評価すると、十分な予算で回避できる相当なコストが発生する。 本ガイドラインを用いることで,機械学習システムのデータ要求を正確に推定し,開発時間とデータ取得コストの双方で節約することができる。
  論文  参考訳（メタデータ） (2022-07-04T21:16:05Z)
• Few-shot Quality-Diversity Optimization [50.337225556491774]
  品質多様性(QD)の最適化は、強化学習における知覚的最小値とスパース報酬を扱う上で効果的なツールであることが示されている。 本稿では,タスク分布の例から,パラメータ空間の最適化によって得られる経路の情報を利用して,未知の環境でQD手法を初期化する場合,数発の適応が可能であることを示す。 ロボット操作とナビゲーションベンチマークを用いて、疎密な報酬設定と密集した報酬設定の両方で実施された実験は、これらの環境でのQD最適化に必要な世代数を著しく削減することを示している。
  論文  参考訳（メタデータ） (2021-09-14T17:12:20Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Efficient Conditional Pre-training for Transfer Learning [71.01129334495553]
  本稿では,事前学習データセットから関連するサブセットを選択するための効率的なフィルタリング手法を提案する。 我々は、教師なし設定と教師なし設定の両方において、ImageNetで事前トレーニングを行うことで、我々の技術を検証する。 我々は、サブセットで利用可能なモデルをチューニングし、大規模なデータセットからフィルタリングされたデータセットで事前トレーニングすることで、標準のImageNet事前トレーニングを1～3%改善する。
  論文  参考訳（メタデータ） (2020-11-20T06:16:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。