論文の概要: Cascade Bagging for Accuracy Prediction with Few Training Samples
- arxiv url: http://arxiv.org/abs/2108.05613v1
- Date: Thu, 12 Aug 2021 09:10:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-13 14:34:23.167324
- Title: Cascade Bagging for Accuracy Prediction with Few Training Samples
- Title(参考訳): トレーニングサンプルの少ないカスケードバッグによる精度予測
- Authors: Ruyi Zhang, Ziwei Yang, Zhi Yang, Xubo Yang, Lei Wang and Zheyang Li
- Abstract要約: 少数のトレーニングサンプルの下で精度予測器を訓練するための新しいフレームワークを提案する。
このフレームワークは、データ拡張方法とアンサンブル学習アルゴリズムからなる。
- 参考スコア(独自算出の注目度): 8.373420721376739
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Accuracy predictor is trained to predict the validation accuracy of an
network from its architecture encoding. It can effectively assist in designing
networks and improving Neural Architecture Search(NAS) efficiency. However, a
high-performance predictor depends on adequate trainning samples, which
requires unaffordable computation overhead. To alleviate this problem, we
propose a novel framework to train an accuracy predictor under few training
samples. The framework consists ofdata augmentation methods and an ensemble
learning algorithm. The data augmentation methods calibrate weak labels and
inject noise to feature space. The ensemble learning algorithm, termed cascade
bagging, trains two-level models by sampling data and features. In the end, the
advantages of above methods are proved in the Performance Prediciton Track of
CVPR2021 1st Lightweight NAS Challenge. Our code is made public at:
https://github.com/dlongry/Solutionto-CVPR2021-NAS-Track2.
- Abstract(参考訳): 精度予測器は、そのアーキテクチャエンコーディングからネットワークの検証精度を予測するように訓練される。
ネットワークの設計やニューラルアーキテクチャ検索(NAS)の効率向上を効果的に支援できる。
しかし、高性能な予測器は適切なトレーニングサンプルに依存しており、計算のオーバーヘッドは十分ではない。
この問題を軽減するために,少ないトレーニングサンプルで精度予測器を訓練するための新しい枠組みを提案する。
このフレームワークは、データ拡張方法とアンサンブル学習アルゴリズムからなる。
データ拡張方法は弱いラベルを校正し、特徴空間にノイズを注入する。
カスケードバッキングと呼ばれるアンサンブル学習アルゴリズムは、データと特徴をサンプリングして2段階モデルを訓練する。
最後に,CVPR2021 1st Lightweight NAS Challengeにおいて,上記の手法の利点が証明された。
私たちのコードは、https://github.com/dlongry/Solutionto-CVPR2021-NAS-Track2で公開されています。
関連論文リスト
- Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。
我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。
本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
論文 参考訳(メタデータ) (2023-10-16T06:19:29Z) - DCLP: Neural Architecture Predictor with Curriculum Contrastive Learning [5.2319020651074215]
ニューラル予測器(DCLP)のためのカリキュラム誘導型コントラスト学習フレームワークを提案する。
本手法は,新たなカリキュラムを設計し,ラベルのないトレーニングデータ分布の安定性を高めることで,対照的なタスクを単純化する。
我々は既存の予測器と比較してDCLPの精度と効率が優れていることを実験的に実証した。
論文 参考訳(メタデータ) (2023-02-25T08:16:21Z) - Boosted Dynamic Neural Networks [53.559833501288146]
典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。
モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。
トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。
EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
論文 参考訳(メタデータ) (2022-11-30T04:23:12Z) - Towards Sparsification of Graph Neural Networks [9.568566305616656]
我々は2つの最先端モデル圧縮手法を用いて、GNNにおける重み付け層の分散化を訓練・訓練し、スパーストレーニングを行う。
実世界のグラフ上で,両手法の精度,訓練空間性,および FLOP の学習効率を評価し,比較する。
論文 参考訳(メタデータ) (2022-09-11T01:39:29Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳(メタデータ) (2021-02-20T23:26:58Z) - Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。
具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
論文 参考訳(メタデータ) (2020-08-21T19:35:54Z) - Accuracy Prediction with Non-neural Model for Neural Architecture Search [185.0651567642238]
精度予測に非神経モデルを用いる別の手法について検討する。
我々は、ニューラルネットワーク探索(NAS)の予測因子として、勾配向上決定木(GBDT)を活用する。
NASBench-101とImageNetの実験は、NASの予測器としてGBDTを使用することの有効性を示した。
論文 参考訳(メタデータ) (2020-07-09T13:28:49Z) - APQ: Joint Search for Network Architecture, Pruning and Quantization
Policy [49.3037538647714]
本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。
ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。
同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
論文 参考訳(メタデータ) (2020-06-15T16:09:17Z) - Passive Batch Injection Training Technique: Boosting Network Performance
by Injecting Mini-Batches from a different Data Distribution [39.8046809855363]
この研究は、元の入力データとは異なる分布から追加のデータを利用するディープニューラルネットワークの新しいトレーニング手法を提案する。
私たちの知る限りでは、畳み込みニューラルネットワーク(CNN)のトレーニングを支援するために、異なるデータ分散を利用する最初の研究である。
論文 参考訳(メタデータ) (2020-06-08T08:17:32Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳(メタデータ) (2020-06-03T05:20:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。