Fugu-MT 論文翻訳(概要): A resource-efficient method for repeated HPO and NAS problems

論文の概要: A resource-efficient method for repeated HPO and NAS problems

arxiv url: http://arxiv.org/abs/2103.16111v1
Date: Tue, 30 Mar 2021 06:58:18 GMT
ステータス: 処理完了
システム内更新日: 2021-03-31 15:12:59.229357
Title: A resource-efficient method for repeated HPO and NAS problems
Title（参考訳）: 繰り返しHPOおよびNAS問題の資源効率向上手法
Authors: Giovanni Zappella, David Salinas, C\'edric Archambeau
Abstract要約: 従来のHNAS問題で得られた情報を、計算資源の節約を目的として活用できるSuccessive Halvingの拡張を提案する。私たちのソリューションは、精度を維持しつつコストを大幅に削減でき、負の転送に堅牢です。
参考スコア（独自算出の注目度）: 7.392802145333904
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work we consider the problem of repeated hyperparameter and neural architecture search (HNAS). We propose an extension of Successive Halving that is able to leverage information gained in previous HNAS problems with the goal of saving computational resources. We empirically demonstrate that our solution is able to drastically decrease costs while maintaining accuracy and being robust to negative transfer. Our method is significantly simpler than competing transfer learning approaches, setting a new baseline for transfer learning in HNAS.
Abstract（参考訳）: 本研究では,過パラメータとニューラルアーキテクチャ探索(HNAS)の繰り返し問題を考察する。本稿では,従来のHNAS問題から得られる情報を,計算資源の節約を目的とした逐次的Halvingの拡張を提案する。提案手法は, 精度を保ちながらコストを大幅に削減し, 負の移動に対して堅牢であることを示す。提案手法は,HNASにおけるトランスファー学習の新たなベースラインを設定することで,競合するトランスファー学習手法よりもはるかに単純である。

関連論文リスト

Robust and Efficient Transfer Learning via Supernet Transfer in Warm-started Neural Architecture Search [4.19475889117731]
Neural Architecture Search (NAS)フレームワークは、AIの民主化を支援する有用な、人気のあるソリューションを提供する。 NASフレームワークは、しばしば計算コストがかかるため、適用性とアクセシビリティが制限される。最適輸送やマルチデータセット保持に基づいて,事前学習したスーパーネットを効果的に転送できる新しいトランスファー学習手法を提案する。
論文参考訳（メタデータ） (2024-07-26T00:17:57Z)
Aux-NAS: Exploiting Auxiliary Labels with Negligibly Extra Inference Cost [73.28626942658022]
本研究の目的は,独立タスク(副次タスク)から追加の補助ラベルを活用することで,タスクのパフォーマンスを向上させることである。本手法は,主タスクと補助タスクのための柔軟な非対称構造を持つアーキテクチャに基づく。 VGG、ResNet、ViTのバックボーンを使用して、NYU v2、CityScapes、Taskonomyデータセット上の6つのタスクで実験を行った。
論文参考訳（メタデータ） (2024-05-09T11:50:19Z)
How Much Is Hidden in the NAS Benchmarks? Few-Shot Adaptation of a NAS Predictor [22.87207410692821]
我々は,メタラーニングの豊富な分野から借用し,これらの手法のNASへの適用性について検討する。我々のメタラーニングアプローチは、クロスバリデーション実験において優れた(あるいは一致した)性能を示すだけでなく、新しい検索空間とタスクへの外挿に成功した。
論文参考訳（メタデータ） (2023-11-30T10:51:46Z)
A Survey on Surrogate-assisted Efficient Neural Architecture Search [18.914781707473296]
ニューラルアーキテクチャサーチ(NAS)は近年,ディープラーニングコミュニティで人気が高まっている。 NASは、NASの探索過程において大量の性能推定を必要とするため、依然として手間と時間を要する。 NASの大きな限界を解決するためには、NASの設計においてNASの効率を向上させることが不可欠である。
論文参考訳（メタデータ） (2022-06-03T12:02:20Z)
HR-NAS: Searching Efficient High-Resolution Neural Architectures with Lightweight Transformers [48.74623838201632]
高分解能表現(HR)は、セグメンテーション、検出、ポーズ推定といった密集した予測タスクに不可欠である。この研究はHR-NASと呼ばれる新しいNAS手法を提案し、異なるタスクに対して効率的かつ正確なネットワークを見つけることができる。 HR-NASは、3つの密集予測タスクと画像分類タスクに対して、パフォーマンスとFLOPの間の最先端のトレードオフを達成することができる。
論文参考訳（メタデータ） (2021-06-11T18:11:36Z)
ES-ENAS: Combining Evolution Strategies with Neural Architecture Search at No Extra Cost for Reinforcement Learning [46.4401207304477]
強化学習(RL)政策設計を目的とした単純なニューラルネットワーク探索(NAS)アルゴリズムES-ENASについて紹介する。複数のタスクに対する90%以上のネットワーク圧縮を実現し,ストレージと計算資源に制限のある移動ロボット工学に特に関心を持つ可能性がある。
論文参考訳（メタデータ） (2021-01-19T02:19:05Z)
AdvantageNAS: Efficient Neural Architecture Search with Credit Assignment [23.988393741948485]
ワンショット・スパース伝播NAS(AdvantageNAS)の新たな探索戦略を提案する。アドバンテージNASは、アーキテクチャ更新の勾配推定にクレジット割り当てを導入することで検索効率を向上させるグラデーションベースのアプローチです。 NAS-Bench-201およびPTBデータセットの実験は、AdvantageNASが限られた時間予算でより高いパフォーマンスのアーキテクチャを発見することを示しています。
論文参考訳（メタデータ） (2020-12-11T05:45:03Z)
Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
論文参考訳（メタデータ） (2020-09-24T15:40:55Z)
Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
論文参考訳（メタデータ） (2020-09-08T15:51:23Z)
Weight-Sharing Neural Architecture Search: A Battle to Shrink the Optimization Gap [90.93522795555724]
ニューラルアーキテクチャサーチ(NAS)は、学術と産業の両方で注目を集めている。重み共有手法は、多くのアーキテクチャが同一のスーパーネットワークで重みを共有している。本稿では,NAS,特に重み付け手法に関する文献レビューを行う。
論文参考訳（メタデータ） (2020-08-04T11:57:03Z)
Hyperparameter Optimization in Neural Networks via Structured Sparse Recovery [54.60327265077322]
スパースリカバリ法のレンズを用いて,ニューラルネットワークの自動設計における2つの重要な問題について検討する。本論文の前半では,HPOと構造的スパースリカバリの新たな接続を確立する。本論文の第2部では,NASと構造的スパース回復の関連性を確立する。
論文参考訳（メタデータ） (2020-07-07T00:57:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。