論文の概要: Can we learn better with hard samples?
- arxiv url: http://arxiv.org/abs/2304.03486v1
- Date: Fri, 7 Apr 2023 05:45:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-10 12:52:29.320814
- Title: Can we learn better with hard samples?
- Title（参考訳）: ハードサンプルでもっとよく学べますか?
- Authors: Subin Sahayam, John Zakkam, Umarani Jayaraman
- Abstract要約: 従来のアルゴリズムの変種が提案され、ネットワークは損失の高いミニバッチに焦点を絞った訓練を行っている。
提案手法は,STL-10上のEfficientNet-B4において,従来のミニバッチ法よりも26.47%少ないエポック数で一般化可能であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In deep learning, mini-batch training is commonly used to optimize network
parameters. However, the traditional mini-batch method may not learn the
under-represented samples and complex patterns in the data, leading to a longer
time for generalization. To address this problem, a variant of the traditional
algorithm has been proposed, which trains the network focusing on mini-batches
with high loss. The study evaluates the effectiveness of the proposed training
using various deep neural networks trained on three benchmark datasets
(CIFAR-10, CIFAR-100, and STL-10). The deep neural networks used in the study
are ResNet-18, ResNet-50, Efficient Net B4, EfficientNetV2-S, and
MobilenetV3-S. The experimental results showed that the proposed method can
significantly improve the test accuracy and speed up the convergence compared
to the traditional mini-batch training method. Furthermore, we introduce a
hyper-parameter delta ({\delta}) that decides how many mini-batches are
considered for training. Experiments on various values of {\delta} found that
the performance of the proposed method for smaller {\delta} values generally
results in similar test accuracy and faster generalization. We show that the
proposed method generalizes in 26.47% less number of epochs than the
traditional mini-batch method in EfficientNet-B4 on STL-10. The proposed method
also improves the test top-1 accuracy by 7.26% in ResNet-18 on CIFAR-100.
- Abstract（参考訳）: ディープラーニングでは、ネットワークパラメータの最適化にミニバッチトレーニングが一般的に使用される。
しかし、従来のミニバッチ法では、データの不足したサンプルや複雑なパターンを学習できないため、一般化に時間がかかる。
この問題に対処するために、従来のアルゴリズムの変種が提案され、損失の高いミニバッチにフォーカスしたネットワークを訓練している。
本研究は、3つのベンチマークデータセット(CIFAR-10, CIFAR-100, STL-10)でトレーニングした各種ディープニューラルネットワークを用いたトレーニングの有効性を評価する。
この研究で使用されるディープニューラルネットワークは、resnet-18, resnet-50, efficient net b4, efficientnetv2-s, mobilenetv3-sである。
実験結果から,提案手法は従来のミニバッチ学習法と比較して試験精度を向上し,収束を高速化できることがわかった。
さらに,訓練のためのミニバッチ数を決定するハイパーパラメータデルタ({\delta})を導入する。
様々な値の実験により、提案手法のより小さな値に対する性能は、一般に同様のテスト精度と高速な一般化をもたらすことが判明した。
提案手法は,STL-10上のEfficientNet-B4における従来のミニバッチ法よりも26.47%少ないエポック数で一般化可能であることを示す。
また,CIFAR-100上でのResNet-18では,テストトップ1の精度が7.26%向上した。
関連論文リスト
- Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。
しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文 参考訳（メタデータ） (2024-06-17T12:24:45Z) - Dynamic Sparse Training via Balancing the Exploration-Exploitation
Trade-off [19.230329532065635]
スパーストレーニングは、モデルサイズを減らすことで、トレーニングコストを大幅に削減する可能性がある。
既存のスパーストレーニング方法は、主にランダムベースまたはグリーディベースのドロップ・アンド・グロー戦略を使用する。
本研究では,動的スパース学習をスパース接続探索問題として考察する。
実験の結果,提案手法により得られたスパースモデル(最大98%のスパース)は,SOTAスパース訓練法より優れていた。
論文 参考訳（メタデータ） (2022-11-30T01:22:25Z) - An Experimental Study of the Impact of Pre-training on the Pruning of a
Convolutional Neural Network [0.0]
近年、ディープニューラルネットワークは様々なアプリケーション領域で広く成功している。
ディープニューラルネットワークは通常、ネットワークの重みに対応する多数のパラメータを含む。
プルーニング法は特に、無関係な重みを識別して取り除くことにより、パラメータセットのサイズを減らそうとしている。
論文 参考訳（メタデータ） (2021-12-15T16:02:15Z) - Accelerating Training and Inference of Graph Neural Networks with Fast
Sampling and Pipelining [58.10436813430554]
グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。
我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。
本稿では,これらのボトルネックを緩和する一連の改良点について述べる。
また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
論文 参考訳（メタデータ） (2021-10-16T02:41:35Z) - Concurrent Adversarial Learning for Large-Batch Training [83.55868483681748]
逆学習は、決定面を滑らかにし、平坦な領域に偏りを付けるための自然な選択である。
本稿では,安定パラメータを用いて,逐次勾配計算を分離するConcurrent Adversarial Learning(ConAdv)手法を提案する。
これは、ResNet-50トレーニングバッチサイズを96Kにスケールする最初の作業である。
論文 参考訳（メタデータ） (2021-06-01T04:26:02Z) - Efficient Sparse Artificial Neural Networks [11.945854832533232]
この脳は、ANN(Artificial Neural Networks)のインスピレーションの源として、スパース構造に基づいている。
このスパース構造は、脳のエネルギー消費を減らし、より容易に学習し、パターンを他のどのANNよりも一般化するのに役立ちます。
本論文では,ANNにスパース性を導入するための2つの進化的手法を提案する。
論文 参考訳（メタデータ） (2021-03-13T10:03:41Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Local Critic Training for Model-Parallel Learning of Deep Neural
Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。
提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。
また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文 参考訳（メタデータ） (2021-02-03T09:30:45Z) - Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。
具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
論文 参考訳（メタデータ） (2020-08-21T19:35:54Z) - Passive Batch Injection Training Technique: Boosting Network Performance
by Injecting Mini-Batches from a different Data Distribution [39.8046809855363]
この研究は、元の入力データとは異なる分布から追加のデータを利用するディープニューラルネットワークの新しいトレーニング手法を提案する。
私たちの知る限りでは、畳み込みニューラルネットワーク(CNN)のトレーニングを支援するために、異なるデータ分散を利用する最初の研究である。
論文 参考訳（メタデータ） (2020-06-08T08:17:32Z) - Large Batch Training Does Not Need Warmup [111.07680619360528]
大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。
本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。
分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
論文 参考訳（メタデータ） (2020-02-04T23:03:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。