論文の概要: ASP: Automatic Selection of Proxy dataset for efficient AutoML
- arxiv url: http://arxiv.org/abs/2310.11478v1
- Date: Tue, 17 Oct 2023 09:36:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-19 18:59:00.482308
- Title: ASP: Automatic Selection of Proxy dataset for efficient AutoML
- Title（参考訳）: ASP: 効率的なAutoMLのためのプロキシデータセットの自動選択
- Authors: Peng Yao, Chao Liao, Jiyuan Jia, Jianchao Tan, Bin Chen, Chengru Song,
Di Zhang
- Abstract要約: 本稿では、各エポックにおけるトレーニングデータの情報的プロキシサブセットを動的に見つけるために、ASP(Automatic Selection of Proxy dataset framework)を提案する。
ASPは、すべての選択比率で、他のデータ選択方法よりも優れた結果を得ることができる。
- 参考スコア（独自算出の注目度）: 16.813109584129514
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks have gained great success due to the increasing amounts
of data, and diverse effective neural network designs. However, it also brings
a heavy computing burden as the amount of training data is proportional to the
training time. In addition, a well-behaved model requires repeated trials of
different structure designs and hyper-parameters, which may take a large amount
of time even with state-of-the-art (SOTA) hyper-parameter optimization (HPO)
algorithms and neural architecture search (NAS) algorithms. In this paper, we
propose an Automatic Selection of Proxy dataset framework (ASP) aimed to
dynamically find the informative proxy subsets of training data at each epoch,
reducing the training data size as well as saving the AutoML processing time.
We verify the effectiveness and generalization of ASP on CIFAR10, CIFAR100,
ImageNet16-120, and ImageNet-1k, across various public model benchmarks. The
experiment results show that ASP can obtain better results than other data
selection methods at all selection ratios. ASP can also enable much more
efficient AutoML processing with a speedup of 2x-20x while obtaining better
architectures and better hyper-parameters compared to utilizing the entire
dataset.
- Abstract（参考訳）: 深層ニューラルネットワークは、データ量の増加と多様な効果的なニューラルネットワーク設計によって大きな成功を収めている。
しかし、トレーニングデータの量はトレーニング時間に比例するため、計算の負担も大きい。
さらに、優れたモデルでは、異なる構造設計とハイパーパラメータの反復的な試行が必要であり、最先端(SOTA)ハイパーパラメータ最適化(HPO)アルゴリズムやニューラルアーキテクチャサーチ(NAS)アルゴリズムでさえ、多大な時間を要する可能性がある。
本稿では,各エポックにおけるトレーニングデータの有益なプロキシサブセットを動的に検索することを目的としたproxy dataset framework(asp)の自動選択を提案し,トレーニングデータサイズを削減し,オートml処理時間を節約する。
CIFAR10, CIFAR100, ImageNet16-120, ImageNet-1kにおけるASPの有効性と一般化の検証を行った。
実験の結果, ASPは他のデータ選択方法よりも, 選択比で優れた結果が得られることがわかった。
さらにASPは、2x-20xのスピードアップでAutoML処理をはるかに効率的なものにすると同時に、データセット全体よりも優れたアーキテクチャとハイパーパラメータを得ることができる。
関連論文リスト
- Transfer-Once-For-All: AI Model Optimization for Edge [0.0]
計算訓練コストを一定に抑えた小データセット上でのスーパーネット型トレーニングのためのTransfer-Once-For-All(TOFA)を提案する。
小さなデータから生じる課題を克服するため、TOFAは、統合された半教師付きトレーニング損失を使用して、スーパーネット内のすべての既存のものを同時にトレーニングする。
論文 参考訳（メタデータ） (2023-03-27T04:14:30Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳（メタデータ） (2022-11-10T13:20:56Z) - Efficient Automated Deep Learning for Time Series Forecasting [42.47842694670572]
本稿では,時系列予測のために,ニューラルネットワークとデータ処理パイプライン全体のハイパーパラメータを協調的に最適化する効率的な手法を提案する。
一般的なNASサーチスペースとは対照的に,我々は様々な最先端アーキテクチャをカバーする新しいニューラルアーキテクチャサーチスペースを設計した。
異なる予測データセット上で効率の良い多重忠実度最適化を実現するために,様々な予算タイプを実証的に検討する。
論文 参考訳（メタデータ） (2022-05-11T14:03:25Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-03-15T19:25:01Z) - Automatic tuning of hyper-parameters of reinforcement learning
algorithms using Bayesian optimization with behavioral cloning [0.0]
強化学習(RL)では、学習エージェントが収集したデータの情報内容は多くのハイパーパラメータの設定に依存する。
本研究では,ベイズ最適化を用いた自律的ハイパーパラメータ設定手法を提案する。
実験は、他の手作業による調整や最適化ベースのアプローチと比較して、有望な結果を示している。
論文 参考訳（メタデータ） (2021-12-15T13:10:44Z) - Model Composition: Can Multiple Neural Networks Be Combined into a
Single Network Using Only Unlabeled Data? [6.0945220518329855]
本稿では,ラベルなしデータを用いた複数のトレーニングニューラルネットワークの組み合わせについて検討する。
提案手法は, ラベルのないデータから収集した疑似ラベルの生成, フィルタリング, 集約を利用する。
本手法は任意のアーキテクチャとカテゴリを持つ任意の入力モデルの使用をサポートする。
論文 参考訳（メタデータ） (2021-10-20T04:17:25Z) - DAAS: Differentiable Architecture and Augmentation Policy Search [107.53318939844422]
この研究は、ニューラルネットワークとデータ拡張のカップリングの可能性を検討し、それらを共同で検索する効果的なアルゴリズムを提案する。
CIFAR-10では97.91%、ImageNetデータセットでは76.6%の精度で97.91%の精度を達成し、検索アルゴリズムの優れた性能を示している。
論文 参考訳（メタデータ） (2021-09-30T17:15:17Z) - AgEBO-Tabular: Joint Neural Architecture and Hyperparameter Search with
Autotuned Data-Parallel Training for Tabular Data [11.552769149674544]
大規模データセットに対する高性能な予測モデルの開発は難しい課題である。
最近の自動機械学習(AutoML)は、予測モデル開発を自動化するための有望なアプローチとして現れている。
我々は,老化進化(AgE)とニューラルアーキテクチャ空間を探索する並列NAS法を組み合わせたAgEBO-Tabularを開発した。
論文 参考訳（メタデータ） (2020-10-30T16:28:48Z) - Fast, Accurate, and Simple Models for Tabular Data via Augmented
Distillation [97.42894942391575]
本研究では、FAST-DADを用いて、任意の複雑なアンサンブル予測を、高木、無作為林、深層ネットワークなどの個々のモデルに抽出する。
我々の個々の蒸留モデルは、H2O/AutoSklearnのようなAutoMLツールが生成するアンサンブル予測よりも10倍高速で精度が高い。
論文 参考訳（メタデータ） (2020-06-25T09:57:47Z) - AutoHAS: Efficient Hyperparameter and Architecture Search [104.29883101871083]
AutoHASは、共有ネットワークウェイトと強化学習コントローラを交互に更新することを学ぶ。
選択したHPから更新された重量を格納するために一時的な重量を導入する。
実験では、AutoHASは様々な検索空間、ベースライン、データセットに対して効率的かつ一般化可能であることを示す。
論文 参考訳（メタデータ） (2020-06-05T19:57:24Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。