論文の概要: RADARS: Memory Efficient Reinforcement Learning Aided Differentiable Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2109.05691v1
• Date: Mon, 13 Sep 2021 04:00:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 15:29:07.158234
• Title: RADARS: Memory Efficient Reinforcement Learning Aided Differentiable Neural Architecture Search
• Title（参考訳）: RADARS: 微分可能なニューラルネットワーク探索を支援するメモリ効率の良い強化学習
• Authors: Zheyu Yan, Weiwen Jiang, Xiaobo Sharon Hu, Yiyu Shi
• Abstract要約: 微分可能なニューラルネットワーク探索(DNAS)は、優れたニューラルネットワークの自動生成の能力で知られている。 DNASベースの手法は、検索空間が広がるとメモリ使用量の爆発に悩まされる。 本稿では,大規模検索空間を高速かつメモリ効率で探索できるスケーラブルなRL支援DNASフレームワークであるRADARSを提案する。
• 参考スコア（独自算出の注目度）: 14.853059108906775
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Differentiable neural architecture search (DNAS) is known for its capacity in the automatic generation of superior neural networks. However, DNAS based methods suffer from memory usage explosion when the search space expands, which may prevent them from running successfully on even advanced GPU platforms. On the other hand, reinforcement learning (RL) based methods, while being memory efficient, are extremely time-consuming. Combining the advantages of both types of methods, this paper presents RADARS, a scalable RL-aided DNAS framework that can explore large search spaces in a fast and memory-efficient manner. RADARS iteratively applies RL to prune undesired architecture candidates and identifies a promising subspace to carry out DNAS. Experiments using a workstation with 12 GB GPU memory show that on CIFAR-10 and ImageNet datasets, RADARS can achieve up to 3.41% higher accuracy with 2.5X search time reduction compared with a state-of-the-art RL-based method, while the two DNAS baselines cannot complete due to excessive memory usage or search time. To the best of the authors' knowledge, this is the first DNAS framework that can handle large search spaces with bounded memory usage.
• Abstract（参考訳）: 微分可能なニューラルネットワーク探索(DNAS)は、優れたニューラルネットワークの自動生成の能力で知られている。 しかし、dnaベースのメソッドは、検索スペースが拡大するとメモリ使用量が急増し、高度なgpuプラットフォームでもうまく動作しない可能性がある。 一方、強化学習(RL)に基づく手法は、メモリ効率は高いが、非常に時間がかかる。 両手法の利点を組み合わせることで,高速かつメモリ効率のよい大規模検索空間を探索できるスケーラブルなRL支援DNASフレームワークであるRADARSを提案する。 RADARSは、RLを反復的に、望ましくないアーキテクチャ候補を誘発し、DNASを実行するための有望なサブスペースを特定する。 12GBのGPUメモリを持つワークステーションを用いた実験では、CIFAR-10とImageNetデータセットでは、RADARSは最先端のRLベースの方法と比較して2.5倍の検索時間を削減できるが、2つのDNASベースラインは過剰なメモリ使用量や検索時間のために完成できない。 著者たちの知る限りでは、これは境界メモリ使用量を持つ大きな検索スペースを処理できる最初のdnasフレームワークである。

関連論文リスト

• Reinforcement Learning with Fast and Forgetful Memory [10.087126455388276]
  強化学習(RL)に特化して設計されたアルゴリズムに依存しないメモリモデルであるFast and Forgetful Memoryを導入する。 提案手法は,計算心理学に触発された強い構造的先行性を通じて,モデル探索空間を制約する。 Fast and Forgetful Memoryは、リカレントニューラルネットワーク(RNN)よりも2桁高速なトレーニング速度を示す
  論文  参考訳（メタデータ） (2023-10-06T09:56:26Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• Efficient Automation of Neural Network Design: A Survey on Differentiable Neural Architecture Search [70.31239620427526]
  微分可能なニューラルネットワーク探索(DNAS)は、ディープニューラルネットワークアーキテクチャの発見を自動化するトレンドのアプローチとして、急速に自らを強制した。 この増加は主に、最初の主要なDNAS法の一つであるDARTSの人気が原因である。 本総説では,DNASに特に焦点をあて,最近のアプローチを概観する。
  論文  参考訳（メタデータ） (2023-04-11T13:15:29Z)
• Searching a High-Performance Feature Extractor for Text Recognition Network [92.12492627169108]
  優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:49:04Z)
• RL-DARTS: Differentiable Architecture Search for Reinforcement Learning [62.95469460505922]
  我々は、強化学習(RL)における微分可能なアーキテクチャ探索(DARTS)の最初の応用の1つであるRL-DARTSを紹介する。 画像エンコーダをDARTSスーパーネットに置き換えることにより、検索方法はサンプリング効率が高く、余分な計算資源が最小限必要であり、また、既存のコードに小さな変更を加える必要がなく、オフ・ポリティクスとオン・ポリティクスのRLアルゴリズムとも互換性がある。 スーパーネットはより優れたセルを徐々に学習し、手作業で設計したポリシーに対して高い競争力を持つ代替アーキテクチャへとつながり、RLポリシーの以前の設計選択も検証できることを示す。
  論文  参考訳（メタデータ） (2021-06-04T03:08:43Z)
• FNAS: Uncertainty-Aware Fast Neural Architecture Search [54.49650267859032]
  強化学習(Reinforcement Learning, RL)に基づくニューラルアーキテクチャサーチ(NAS)は一般的に、収束性の向上を保証するが、巨大な計算資源の要求に悩まされる。 NASにおけるロールアウトプロセスとRLプロセスの収束を加速する汎用パイプラインを提案する。 Mobile Neural Architecture Search (MNAS)サーチスペースの実験では、提案するFast Neural Architecture Search (FNAS)が標準のRLベースのNASプロセスを10倍高速化することを示した。
  論文  参考訳（メタデータ） (2021-05-25T06:32:52Z)
• Disentangled Neural Architecture Search [7.228790381070109]
  本稿では,制御器の隠蔽表現を意味論的に意味のある概念に解き放つ,アンタングル型ニューラルネットワーク探索(DNAS)を提案する。 DNASは、オペレーションの選択、接続のスキップ、レイヤ数など、アーキテクチャ表現のアンタングルに成功している。 センスサンプリングは、より高い効率とより良いパフォーマンスでニューラルネットワーク検索につながる。
  論文  参考訳（メタデータ） (2020-09-24T03:35:41Z)
• FBNetV2: Differentiable Neural Architecture Search for Spatial and Channel Dimensions [70.59851564292828]
  微分可能なニューラルネットワーク探索(DNAS)は、最先端で効率的なニューラルネットワークの設計において大きな成功を収めている。 メモリと計算効率のよいDNAS変異体DMaskingNASを提案する。 このアルゴリズムは、検索スペースを従来のDNASよりも最大1014倍に拡張する。
  論文  参考訳（メタデータ） (2020-04-12T08:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。