論文の概要: A contextual analysis of multi-layer perceptron models in classifying hand-written digits and letters: limited resources

• arxiv url: http://arxiv.org/abs/2107.01782v1
• Date: Mon, 5 Jul 2021 04:30:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-06 21:27:19.080436
• Title: A contextual analysis of multi-layer perceptron models in classifying hand-written digits and letters: limited resources
• Title（参考訳）: 手書き桁と文字の分類における多層パーセプトロンモデルの文脈解析:限られた資源
• Authors: Tidor-Vlad Pricope
• Abstract要約: 我々は,前処理や特徴抽出を行わずに,終端から終端までのバニラニューラルネットワーク(MLP)アプローチを純粋に検証した。 基礎的なデータマイニング操作は,計算時間の観点からモデルの性能を著しく向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classifying hand-written digits and letters has taken a big leap with the introduction of ConvNets. However, on very constrained hardware the time necessary to train such models would be high. Our main contribution is twofold. First, we extensively test an end-to-end vanilla neural network (MLP) approach in pure numpy without any pre-processing or feature extraction done beforehand. Second, we show that basic data mining operations can significantly improve the performance of the models in terms of computational time, without sacrificing much accuracy. We illustrate our claims on a simpler variant of the Extended MNIST dataset, called Balanced EMNIST dataset. Our experiments show that, without any data mining, we get increased generalization performance when using more hidden layers and regularization techniques, the best model achieving 84.83% accuracy on a test dataset. Using dimensionality reduction done by PCA we were able to increase that figure to 85.08% with only 10% of the original feature space, reducing the memory size needed by 64%. Finally, adding methods to remove possibly harmful training samples like deviation from the mean helped us to still achieve over 84% test accuracy but with only 32.8% of the original memory size for the training set. This compares favorably to the majority of literature results obtained through similar architectures. Although this approach gets outshined by state-of-the-art models, it does scale to some (AlexNet, VGGNet) trained on 50% of the same dataset.
• Abstract（参考訳）: 手書きの数字と文字の分類は、ConvNetsの導入によって大きな飛躍を遂げた。 しかし、非常に制約のあるハードウェアでは、そのようなモデルを訓練するのに必要な時間は高い。 私たちの主な貢献は2つです。 まず,前処理や特徴抽出を行わずに,終端から終端までのバニラニューラルネットワーク(MLP)アプローチを純粋に検証する。 第2に,基本的なデータマイニング操作は,計算時間の観点から,精度を犠牲にすることなく,モデルの性能を大幅に向上できることを示す。 拡張MNISTデータセットの単純な変種であるBa balanced EMNISTデータセットについて、我々の主張を説明する。 実験の結果,データマイニングがなければ,テストデータセット上で84.83%の精度で,隠れレイヤや正規化技術を使用することで,一般化性能が向上することがわかった。 pcaによる次元の削減により、元の機能空間のわずか10%で85.08%までこの数字を増加させ、必要なメモリサイズを64%削減することができた。 最後に、平均からの逸脱のような有害なトレーニングサンプルを取り除く方法を追加することで、84%以上のテスト精度を達成できたが、トレーニングセットの当初のメモリサイズはわずか32.8%だった。 これは、同様のアーキテクチャで得られた文学的な結果の大部分が好意的に比較される。 このアプローチは最先端のモデルに勝っているが、同じデータセットの50%でトレーニングされた一部の(alexnet、vggnet)にスケールする。

関連論文リスト

• More precise edge detections [0.0]
  エッジ検出 (ED) はコンピュータビジョンの基本的なタスクである。 現在のモデルは相変わらず不満足な精度に悩まされている。 より正確な予測のためのモデルアーキテクチャはまだ調査が必要である。
  論文  参考訳（メタデータ） (2024-07-29T13:24:55Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Dataset Quantization [72.61936019738076]
  大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。 DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
  論文  参考訳（メタデータ） (2023-08-21T07:24:29Z)
• Gradient-Free Structured Pruning with Unlabeled Data [57.999191898036706]
  ラベルのないデータのみを使用する勾配のない構造化プルーニングフレームワークを提案する。 元々のFLOPカウントの最大40%は、考慮されたすべてのタスクで4%未満の精度で削減できる。
  論文  参考訳（メタデータ） (2023-03-07T19:12:31Z)
• A Meta-Learning Approach to Predicting Performance and Data Requirements [163.4412093478316]
  本稿では,モデルが目標性能に達するために必要なサンプル数を推定する手法を提案する。 モデル性能を推定するデファクト原理であるパワー法則が,小さなデータセットを使用する場合の誤差が大きいことが判明した。 本稿では,2つのデータを異なる方法で処理するPPL法について紹介する。
  論文  参考訳（メタデータ） (2023-03-02T21:48:22Z)
• CoV-TI-Net: Transferred Initialization with Modified End Layer for COVID-19 Diagnosis [5.546855806629448]
  転送学習は比較的新しい学習手法であり、少ない計算で優れた性能を達成するために多くの分野で採用されている。 本研究では,MNISTデータセットにPyTorch事前学習モデル(VGG19_bnとWideResNet -101)を適用した。 提案したモデルはKaggleのノートブックで開発、検証され、計算時間を要さずに99.77%の精度に達した。
  論文  参考訳（メタデータ） (2022-09-20T08:52:52Z)
• Complementary Ensemble Learning [1.90365714903665]
  我々は最先端のディープラーニングモデルの性能向上手法を考案した。 具体的には、最先端モデルの不確実性を補完できる補助モデルを訓練する。
  論文  参考訳（メタデータ） (2021-11-09T03:23:05Z)
• SSSE: Efficiently Erasing Samples from Trained Machine Learning Models [103.43466657962242]
  サンプル消去のための効率的かつ効率的なアルゴリズムSSSEを提案する。 ある場合、SSSEは、許可されたデータだけで新しいモデルをスクラッチからトレーニングする最適な、しかし実用的でない金の標準と同様に、サンプルをほぼ消去することができる。
  論文  参考訳（メタデータ） (2021-07-08T14:17:24Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Machine learning for complete intersection Calabi-Yau manifolds: a methodological study [0.0]
  我々は機械学習(ML)を用いてホッジ数$h1,1$と$h2,1$の完全なカラビ・ヤウ交差点を予測する問題を再考する。 我々は、古いデータセットのインセプションモデルにインスパイアされたニューラルネットワークを使用して、トレーニング用のデータの30% (resp. 70%) のみを使用して、97% (resp. 99%) の精度で$h1,1$を得る。 新しい例では、単純な線形回帰は、トレーニング用のデータの30%でほぼ100%の正確性をもたらす。
  論文  参考訳（メタデータ） (2020-07-30T19:43:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。