論文の概要: DHA: End-to-End Joint Optimization of Data Augmentation Policy,
Hyper-parameter and Architecture
- arxiv url: http://arxiv.org/abs/2109.05765v1
- Date: Mon, 13 Sep 2021 08:12:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-14 15:59:40.439613
- Title: DHA: End-to-End Joint Optimization of Data Augmentation Policy,
Hyper-parameter and Architecture
- Title（参考訳）: DHA:データ拡張ポリシ,ハイパーパラメータ,アーキテクチャのエンドツーエンド共同最適化
- Authors: Kaichen Zhou, Lanqing Hong, Shoukang Hu, Fengwei Zhou, Binxin Ru,
Jiashi Feng, Zhenguo Li
- Abstract要約: 本稿では,AutoMLコンポーネントを統合したエンドツーエンドソリューションを提案する。
Dhaは、様々なデータセット、特にセルベースの検索空間を持つImageNetの77.4%の精度で、最先端(SOTA)結果を達成する。
- 参考スコア（独自算出の注目度）: 81.82173855071312
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automated machine learning (AutoML) usually involves several crucial
components, such as Data Augmentation (DA) policy, Hyper-Parameter Optimization
(HPO), and Neural Architecture Search (NAS). Although many strategies have been
developed for automating these components in separation, joint optimization of
these components remains challenging due to the largely increased search
dimension and the variant input types of each component. Meanwhile, conducting
these components in a sequence often requires careful coordination by human
experts and may lead to sub-optimal results. In parallel to this, the common
practice of searching for the optimal architecture first and then retraining it
before deployment in NAS often suffers from low performance correlation between
the search and retraining stages. An end-to-end solution that integrates the
AutoML components and returns a ready-to-use model at the end of the search is
desirable. In view of these, we propose DHA, which achieves joint optimization
of Data augmentation policy, Hyper-parameter and Architecture. Specifically,
end-to-end NAS is achieved in a differentiable manner by optimizing a
compressed lower-dimensional feature space, while DA policy and HPO are updated
dynamically at the same time. Experiments show that DHA achieves
state-of-the-art (SOTA) results on various datasets, especially 77.4\% accuracy
on ImageNet with cell based search space, which is higher than current SOTA by
0.5\%. To the best of our knowledge, we are the first to efficiently and
jointly optimize DA policy, NAS, and HPO in an end-to-end manner without
retraining.
- Abstract（参考訳）: 自動機械学習(AutoML)は通常、データ拡張(DA)ポリシ、ハイパーパラメータ最適化(HPO)、ニューラルネットワーク探索(NAS)など、いくつかの重要なコンポーネントを含んでいる。
これらのコンポーネントを分離して自動化するための戦略は数多く開発されているが、探索次元が大幅に増大し、各コンポーネントの入力タイプが異なるため、コンポーネントの協調最適化は依然として困難である。
一方、これらのコンポーネントをシーケンスで実行するには、しばしば人間の専門家による慎重に調整が必要である。
これと並行して、まず最適なアーキテクチャを探索し、次にNASに展開する前に再訓練するという一般的なプラクティスは、探索と再訓練の段階でパフォーマンスの相関が低い。
automlコンポーネントを統合し、検索の最後に使用可能なモデルを返すエンドツーエンドのソリューションが望ましい。
そこで本稿では,データ拡張ポリシ,ハイパーパラメータ,アーキテクチャの共同最適化を実現するDHAを提案する。
具体的には、圧縮された低次元特徴空間を最適化することにより、エンドツーエンドNASを微分可能とし、DAポリシーとHPOを同時に動的に更新する。
実験により、DHAは様々なデータセット、特に現在のSOTAよりも0.5倍高いセルベースの検索空間を持つImageNetの77.4\%の精度で、最先端のSOTA(State-of-the-art)結果を達成することが示された。
私たちの知る限りでは、daポリシー、nas、hpoをエンドツーエンドで再トレーニングすることなく、効率的かつ共同で最適化した最初の人物です。
関連論文リスト
- Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。
目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。
DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
論文 参考訳（メタデータ） (2024-08-14T11:29:47Z) - Efficient Architecture Search via Bi-level Data Pruning [70.29970746807882]
この研究は、DARTSの双方向最適化におけるデータセット特性の重要な役割を探求する先駆者となった。
我々は、スーパーネット予測力学を計量として活用する新しいプログレッシブデータプルーニング戦略を導入する。
NAS-Bench-201サーチスペース、DARTSサーチスペース、MobileNetのようなサーチスペースに関する総合的な評価は、BDPがサーチコストを50%以上削減することを検証する。
論文 参考訳（メタデータ） (2023-12-21T02:48:44Z) - Fairer and More Accurate Tabular Models Through NAS [14.147928131445852]
本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。
我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。
公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
論文 参考訳（メタデータ） (2023-10-18T17:56:24Z) - HomOpt: A Homotopy-Based Hyperparameter Optimization Method [10.11271414863925]
一般化加法モデル(GAM)とホモトピー最適化を組み合わせたデータ駆動型手法であるHomOptを提案する。
本稿では,HomOptが任意のメソッドの性能と有効性を向上し,連続離散およびカテゴリー領域空間上での最適収束を高速化する方法について述べる。
論文 参考訳（メタデータ） (2023-08-07T06:01:50Z) - Efficient Automated Deep Learning for Time Series Forecasting [42.47842694670572]
本稿では,時系列予測のために,ニューラルネットワークとデータ処理パイプライン全体のハイパーパラメータを協調的に最適化する効率的な手法を提案する。
一般的なNASサーチスペースとは対照的に,我々は様々な最先端アーキテクチャをカバーする新しいニューラルアーキテクチャサーチスペースを設計した。
異なる予測データセット上で効率の良い多重忠実度最適化を実現するために,様々な予算タイプを実証的に検討する。
論文 参考訳（メタデータ） (2022-05-11T14:03:25Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-03-15T19:25:01Z) - DAAS: Differentiable Architecture and Augmentation Policy Search [107.53318939844422]
この研究は、ニューラルネットワークとデータ拡張のカップリングの可能性を検討し、それらを共同で検索する効果的なアルゴリズムを提案する。
CIFAR-10では97.91%、ImageNetデータセットでは76.6%の精度で97.91%の精度を達成し、検索アルゴリズムの優れた性能を示している。
論文 参考訳（メタデータ） (2021-09-30T17:15:17Z) - Bag of Baselines for Multi-objective Joint Neural Architecture Search
and Hyperparameter Optimization [29.80410614305851]
ニューラルネットワークアーキテクチャ検索(NAS)とハイパーパラメータ最適化(HPO)により、ディープラーニングは非専門家にアクセスできます。
本稿では,複数の目的に対して,ニューラルネットワークとハイパーパラメータを共同で最適化する手法を提案する。
これらの方法は、マルチオブジェクトジョイントNAS + HPOの将来の研究のための単純なベースラインとして機能します。
論文 参考訳（メタデータ） (2021-05-03T17:04:56Z) - Hyperparameter Optimization in Neural Networks via Structured Sparse
Recovery [54.60327265077322]
スパースリカバリ法のレンズを用いて,ニューラルネットワークの自動設計における2つの重要な問題について検討する。
本論文の前半では,HPOと構造的スパースリカバリの新たな接続を確立する。
本論文の第2部では,NASと構造的スパース回復の関連性を確立する。
論文 参考訳（メタデータ） (2020-07-07T00:57:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。