論文の概要: Strategies and impact of learning curve estimation for CNN-based image
classification
- arxiv url: http://arxiv.org/abs/2310.08470v1
- Date: Thu, 12 Oct 2023 16:28:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-14 08:43:52.793677
- Title: Strategies and impact of learning curve estimation for CNN-based image
classification
- Title(参考訳): CNN画像分類における学習曲線推定の戦略と効果
- Authors: Laura Didyk, Brayden Yarish, Michael A. Beck, Christopher P.
Bidinosti, Christopher J. Henry
- Abstract要約: 学習曲線は、一定の量のトレーニングデータによって機械学習モデルのパフォーマンスが向上する尺度である。
様々な応用やモデルにおいて、学習曲線は ― 大部分が ― 権力法的な行動に従うことが観察された。
モデルの学習曲線を、データの小さなサブセットでのトレーニングから推定することにより、完全なデータセットでのトレーニングに最適なモデルのみを考慮する必要がある。
- 参考スコア(独自算出の注目度): 0.2678472239880052
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning curves are a measure for how the performance of machine learning
models improves given a certain volume of training data. Over a wide variety of
applications and models it was observed that learning curves follow -- to a
large extent -- a power law behavior. This makes the performance of different
models for a given task somewhat predictable and opens the opportunity to
reduce the training time for practitioners, who are exploring the space of
possible models and hyperparameters for the problem at hand. By estimating the
learning curve of a model from training on small subsets of data only the best
models need to be considered for training on the full dataset. How to choose
subset sizes and how often to sample models on these to obtain estimates is
however not researched. Given that the goal is to reduce overall training time
strategies are needed that sample the performance in a time-efficient way and
yet leads to accurate learning curve estimates. In this paper we formulate the
framework for these strategies and propose several strategies. Further we
evaluate the strategies for simulated learning curves and in experiments with
popular datasets and models for image classification tasks.
- Abstract(参考訳): 学習曲線は、一定の量のトレーニングデータによって機械学習モデルのパフォーマンスが向上する尺度である。
様々な応用やモデルにおいて、学習曲線は ― 大部分が ― 権力法的な行動に従うことが観察された。
これにより、与えられたタスクのさまざまなモデルのパフォーマンスが多少予測可能になり、問題の可能なモデルとハイパーパラメータの空間を探索する実践者のためのトレーニング時間を短縮する機会が開かれる。
モデルの学習曲線を、データの小さなサブセットのトレーニングから推定することで、データセット全体のトレーニングに最適なモデルのみを考慮する必要がある。
しかし、サブセットサイズを選択する方法や、これらのモデルを使って見積もりを得る頻度は研究されていない。
目標は、パフォーマンスを時間効率のよい方法でサンプリングし、正確な学習曲線推定に導く、全体的なトレーニング時間戦略を減らすことである。
本稿では,これらの戦略の枠組みを定式化し,いくつかの戦略を提案する。
さらに,学習曲線のシミュレーションと,画像分類タスクのための一般的なデータセットやモデルを用いた実験の戦略を評価する。
関連論文リスト
- Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。
本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。
提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
論文 参考訳(メタデータ) (2023-11-03T17:29:46Z) - An Analysis of Initial Training Strategies for Exemplar-Free
Class-Incremental Learning [36.619804184427245]
CIL(Class-Incremental Learning)は、データストリームから分類モデルを構築することを目的としている。
破滅的な忘れ物のため、過去のクラスの例を保存できない場合、CILは特に困難である。
大量のデータに対する自己管理的な方法で事前訓練されたモデルの使用は、最近勢いを増している。
論文 参考訳(メタデータ) (2023-08-22T14:06:40Z) - TRAK: Attributing Model Behavior at Scale [79.56020040993947]
本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
論文 参考訳(メタデータ) (2023-03-24T17:56:22Z) - Frugal Reinforcement-based Active Learning [12.18340575383456]
本稿では,ラベル効率向上のための新しい能動的学習手法を提案する。
提案手法は反復的であり,多様性,表現性,不確実性の基準を混合した制約対象関数の最小化を目的としている。
また、強化学習に基づく新たな重み付け機構を導入し、各トレーニングイテレーションでこれらの基準を適応的にバランスさせる。
論文 参考訳(メタデータ) (2022-12-09T14:17:45Z) - Investigating classification learning curves for automatically generated
and labelled plant images [0.1338174941551702]
本研究では,異なる生育段階のマニトバ草原に共通する作物や雑草を代表とする植物画像のデータセットを提示する。
本稿では、ResNetアーキテクチャを用いて、このデータに基づく分類タスクの学習曲線を決定する。
ラベルノイズとトレーニング可能なパラメータの低減が,このデータセットの学習曲線に与える影響について検討する。
論文 参考訳(メタデータ) (2022-05-22T23:28:42Z) - Knowledge-driven Active Learning [70.37119719069499]
アクティブな学習戦略は、ディープラーニングモデルをトレーニングするために必要なラベル付きデータの量を最小限にすることを目的としている。
ほとんどの積極的な戦略は不確実なサンプルの選択に基づいており、しばしば決定境界に近いサンプルに制限される。
本稿では、一般的なドメイン知識を考慮し、エキスパートでないユーザがより少ないサンプルでモデルを訓練できるようにする。
論文 参考訳(メタデータ) (2021-10-15T06:11:53Z) - Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual
Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。
潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。
我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文 参考訳(メタデータ) (2020-12-08T18:03:21Z) - Dynamic Data Selection for Curriculum Learning via Ability Estimation [6.255759848576057]
難易度を学習難易度パラメータで置き換えることを提案する。
また,能力推定によるカリキュラム学習のための動的選択を提案する。
GLUE分類タスクにおいて、学習難易度および/または能力を用いたモデルは、データに基づくカリキュラム学習モデルより優れていることを示す。
論文 参考訳(メタデータ) (2020-10-30T20:01:56Z) - Model-specific Data Subsampling with Influence Functions [37.64859614131316]
トレーニングポイントが様々な影響を持つ場合、ランダムサンプリングよりも優れたモデル固有データサブサンプリング戦略を開発する。
具体的には、影響関数を活用して、選択戦略をガイドし、理論的に証明し、我々のアプローチが素早く高品質なモデルを選択することを実証する。
論文 参考訳(メタデータ) (2020-10-20T12:10:28Z) - Few-shot Classification via Adaptive Attention [93.06105498633492]
ごく少数の参照サンプルに基づいて,クエリサンプル表現を最適化し,高速に適応する新しい数ショット学習手法を提案する。
実験で実証したように,提案モデルでは,様々なベンチマーク数ショット分類と微粒化認識データセットを用いて,最先端の分類結果を達成している。
論文 参考訳(メタデータ) (2020-08-06T05:52:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。