論文の概要: Strategies and impact of learning curve estimation for CNN-based image classification

• arxiv url: http://arxiv.org/abs/2310.08470v1
• Date: Thu, 12 Oct 2023 16:28:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 08:43:52.793677
• Title: Strategies and impact of learning curve estimation for CNN-based image classification
• Title（参考訳）: CNN画像分類における学習曲線推定の戦略と効果
• Authors: Laura Didyk, Brayden Yarish, Michael A. Beck, Christopher P. Bidinosti, Christopher J. Henry
• Abstract要約: 学習曲線は、一定の量のトレーニングデータによって機械学習モデルのパフォーマンスが向上する尺度である。 様々な応用やモデルにおいて、学習曲線は ― 大部分が ― 権力法的な行動に従うことが観察された。 モデルの学習曲線を、データの小さなサブセットでのトレーニングから推定することにより、完全なデータセットでのトレーニングに最適なモデルのみを考慮する必要がある。
• 参考スコア（独自算出の注目度）: 0.2678472239880052
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning curves are a measure for how the performance of machine learning models improves given a certain volume of training data. Over a wide variety of applications and models it was observed that learning curves follow -- to a large extent -- a power law behavior. This makes the performance of different models for a given task somewhat predictable and opens the opportunity to reduce the training time for practitioners, who are exploring the space of possible models and hyperparameters for the problem at hand. By estimating the learning curve of a model from training on small subsets of data only the best models need to be considered for training on the full dataset. How to choose subset sizes and how often to sample models on these to obtain estimates is however not researched. Given that the goal is to reduce overall training time strategies are needed that sample the performance in a time-efficient way and yet leads to accurate learning curve estimates. In this paper we formulate the framework for these strategies and propose several strategies. Further we evaluate the strategies for simulated learning curves and in experiments with popular datasets and models for image classification tasks.
• Abstract（参考訳）: 学習曲線は、一定の量のトレーニングデータによって機械学習モデルのパフォーマンスが向上する尺度である。 様々な応用やモデルにおいて、学習曲線は ― 大部分が ― 権力法的な行動に従うことが観察された。 これにより、与えられたタスクのさまざまなモデルのパフォーマンスが多少予測可能になり、問題の可能なモデルとハイパーパラメータの空間を探索する実践者のためのトレーニング時間を短縮する機会が開かれる。 モデルの学習曲線を、データの小さなサブセットのトレーニングから推定することで、データセット全体のトレーニングに最適なモデルのみを考慮する必要がある。 しかし、サブセットサイズを選択する方法や、これらのモデルを使って見積もりを得る頻度は研究されていない。 目標は、パフォーマンスを時間効率のよい方法でサンプリングし、正確な学習曲線推定に導く、全体的なトレーニング時間戦略を減らすことである。 本稿では,これらの戦略の枠組みを定式化し,いくつかの戦略を提案する。 さらに,学習曲線のシミュレーションと,画像分類タスクのための一般的なデータセットやモデルを用いた実験の戦略を評価する。

関連論文リスト

• Accelerating Deep Learning with Fixed Time Budget [2.190627491782159]
  本稿では,一定時間内に任意のディープラーニングモデルを学習するための効果的な手法を提案する。 提案手法はコンピュータビジョンにおける分類タスクと回帰タスクの両方において広範囲に評価される。
  論文  参考訳（メタデータ） (2024-10-03T21:18:04Z)
• Learning Augmentation Policies from A Model Zoo for Time Series Forecasting [58.66211334969299]
  本稿では,強化学習に基づく学習可能なデータ拡張手法であるAutoTSAugを紹介する。 限界サンプルを学習可能なポリシーで強化することにより、AutoTSAugは予測性能を大幅に改善する。
  論文  参考訳（メタデータ） (2024-09-10T07:34:19Z)
• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• An Analysis of Initial Training Strategies for Exemplar-Free Class-Incremental Learning [36.619804184427245]
  CIL(Class-Incremental Learning)は、データストリームから分類モデルを構築することを目的としている。 破滅的な忘れ物のため、過去のクラスの例を保存できない場合、CILは特に困難である。 大量のデータに対する自己管理的な方法で事前訓練されたモデルの使用は、最近勢いを増している。
  論文  参考訳（メタデータ） (2023-08-22T14:06:40Z)
• TRAK: Attributing Model Behavior at Scale [79.56020040993947]
  本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T17:56:22Z)
• Frugal Reinforcement-based Active Learning [12.18340575383456]
  本稿では,ラベル効率向上のための新しい能動的学習手法を提案する。 提案手法は反復的であり,多様性,表現性,不確実性の基準を混合した制約対象関数の最小化を目的としている。 また、強化学習に基づく新たな重み付け機構を導入し、各トレーニングイテレーションでこれらの基準を適応的にバランスさせる。
  論文  参考訳（メタデータ） (2022-12-09T14:17:45Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)
• Dynamic Data Selection for Curriculum Learning via Ability Estimation [6.255759848576057]
  難易度を学習難易度パラメータで置き換えることを提案する。 また,能力推定によるカリキュラム学習のための動的選択を提案する。 GLUE分類タスクにおいて、学習難易度および/または能力を用いたモデルは、データに基づくカリキュラム学習モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-30T20:01:56Z)
• Model-specific Data Subsampling with Influence Functions [37.64859614131316]
  トレーニングポイントが様々な影響を持つ場合、ランダムサンプリングよりも優れたモデル固有データサブサンプリング戦略を開発する。 具体的には、影響関数を活用して、選択戦略をガイドし、理論的に証明し、我々のアプローチが素早く高品質なモデルを選択することを実証する。
  論文  参考訳（メタデータ） (2020-10-20T12:10:28Z)
• Few-shot Classification via Adaptive Attention [93.06105498633492]
  ごく少数の参照サンプルに基づいて,クエリサンプル表現を最適化し,高速に適応する新しい数ショット学習手法を提案する。 実験で実証したように,提案モデルでは,様々なベンチマーク数ショット分類と微粒化認識データセットを用いて,最先端の分類結果を達成している。
  論文  参考訳（メタデータ） (2020-08-06T05:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。