Fugu-MT 論文翻訳(概要): Scalable Reinforcement Learning-based Neural Architecture Search

論文の概要: Scalable Reinforcement Learning-based Neural Architecture Search

arxiv url: http://arxiv.org/abs/2410.01431v1
Date: Wed, 2 Oct 2024 11:31:48 GMT
ステータス: 処理完了
システム内更新日: 2024-11-04 21:09:23.641692
Title: Scalable Reinforcement Learning-based Neural Architecture Search
Title（参考訳）: スケーラブル強化学習に基づくニューラルアーキテクチャ探索
Authors: Amber Cassimon, Siegfried Mercelis, Kevin Mets,
Abstract要約: ニューラル・アーキテクチャ・サーチの課題に対する新しい強化学習型ソリューションの能力を評価する。我々はNAS-Bench-101とNAS-Bench-301の両方の設定を検討し、ローカル検索やランダム検索など、既知の強力なベースラインと比較する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this publication, we assess the ability of a novel Reinforcement Learning-based solution to the problem of Neural Architecture Search, where a Reinforcement Learning (RL) agent learns to search for good architectures, rather than to return a single optimal architecture. We consider both the NAS-Bench-101 and NAS- Bench-301 settings, and compare against various known strong baselines, such as local search and random search. We conclude that our Reinforcement Learning agent displays strong scalability with regards to the size of the search space, but limited robustness to hyperparameter changes.
Abstract（参考訳）: 本稿では,ニューラルネットワーク探索問題に対する新しい強化学習ベースソリューションの能力を評価する。そこでは,強化学習(RL)エージェントが,一つの最適なアーキテクチャを返すのではなく,優れたアーキテクチャを探すことを学習する。我々はNAS-Bench-101とNAS-Bench-301の両方の設定を検討し、ローカル検索やランダム検索など、既知の強力なベースラインと比較する。探索空間の大きさに関して,我々の強化学習エージェントは高いスケーラビリティを示すが,ハイパーパラメータの変化に対するロバスト性は限られている。

関連論文リスト

DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文参考訳（メタデータ） (2024-03-02T22:16:47Z)
Resource-Constrained Neural Architecture Search on Tabular Datasets [38.765317261872504]
与えられた機械学習問題に対する最良のニューラルネットワークは、データセットの複雑さと構造を含む多くの要因に依存する。従来のNASアルゴリズムでは、リソース制約を直接強化学習報酬に組み込んでいる。これらの課題に対処する新しい強化学習コントローラを提案する。
論文参考訳（メタデータ） (2022-04-15T19:03:25Z)
BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
論文参考訳（メタデータ） (2021-11-25T18:13:42Z)
Conceptual Expansion Neural Architecture Search (CENAS) [1.3464152928754485]
概念拡張ニューラルアーキテクチャサーチ(CENAS)という手法を提案する。サンプル効率が高く、計算的創造性にインスパイアされたトランスファーラーニングアプローチとニューラルアーキテクチャサーチを組み合わせたものだ。新しいモデルのパラメータを近似するために、既存の重みを転送することで、素早いアーキテクチャ探索よりも高速なモデルを見つける。
論文参考訳（メタデータ） (2021-10-07T02:29:26Z)
D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
論文参考訳（メタデータ） (2021-08-20T09:07:01Z)
A Design Space Study for LISTA and Beyond [79.76740811464597]
近年では、反復アルゴリズムの展開による問題固有のディープネットワーク構築に大きな成功を収めている。本稿では,深層ネットワークにおける設計アプローチとしてのアンローリングの役割について再考する。スパースリカバリのためのlistaを代表例として,未ロールモデルに対する設計空間調査を初めて実施した。
論文参考訳（メタデータ） (2021-04-08T23:01:52Z)
Pretraining Neural Architecture Search Controllers with Locality-based Self-Supervised Learning [0.0]
コントローラベースのNASに適用可能なプリトレーニング方式を提案する。本手法は局所性に基づく自己教師付き分類タスクであり,ネットワークアーキテクチャの構造的類似性を活用し,優れたアーキテクチャ表現を得る。
論文参考訳（メタデータ） (2021-03-15T06:30:36Z)
On Adversarial Robustness: A Neural Architecture Search perspective [20.478741635006113]
この研究は、アーキテクチャの観点から純粋に敵対的ロバスト性を理解するための最初の大規模研究である。単純なアンサンブルによるDARTSの探索空間におけるランダムサンプリングにより,PGD攻撃に対するロバスト性を約12%向上できることを示す。我々は, SoTA の精度向上に人気があるNASが, 対人訓練を一切行わないフリーアドオンとして, 対人精度を提供できることを示した。
論文参考訳（メタデータ） (2020-07-16T16:07:10Z)
Breaking the Curse of Space Explosion: Towards Efficient NAS with Curriculum Search [94.46818035655943]
本稿では,小さな検索空間から始まるカリキュラム検索手法を提案し,学習知識を徐々に取り入れて広い空間での検索をガイドする。提案手法により,CNAS法は探索効率を大幅に向上し,既存のNAS法よりも優れたアーキテクチャを求めることができる。
論文参考訳（メタデータ） (2020-07-07T02:29:06Z)
Learning Architectures from an Extended Search Space for Language Modeling [37.79977691127229]
ニューラルアーキテクチャサーチ(NAS)のセル内アーキテクチャとセル間アーキテクチャの両方を学ぶための一般的なアプローチを提案する。繰り返しのニューラルネットワークモデリングでは、TBとWikiTextのデータに対して強力なベースラインをはるかに上回り、TBに新たな最先端技術が導入された。学習したアーキテクチャは、他のシステムに優れた転送可能性を示す。
論文参考訳（メタデータ） (2020-05-06T05:02:33Z)
RC-DARTS: Resource Constrained Differentiable Architecture Search [162.7199952019152]
資源制約付き微分可能なアーキテクチャ探索法(RC-DARTS)を提案する。 RC-DARTS法は,モデルサイズが小さく,計算量も少ない,軽量なニューラルアーキテクチャを学習する。
論文参考訳（メタデータ） (2019-12-30T05:02:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。