論文の概要: ArchGym: An Open-Source Gymnasium for Machine Learning Assisted Architecture Design

• arxiv url: http://arxiv.org/abs/2306.08888v1
• Date: Thu, 15 Jun 2023 06:41:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 16:24:42.924976
• Title: ArchGym: An Open-Source Gymnasium for Machine Learning Assisted Architecture Design
• Title（参考訳）: ArchGym: 機械学習支援アーキテクチャ設計のためのオープンソースの体育館
• Authors: Srivatsan Krishnan, Amir Yazdanbaksh, Shvetank Prakash, Jason Jabbour, Ikechukwu Uchendu, Susobhan Ghosh, Behzad Boroujerdian, Daniel Richins, Devashree Tripathy, Aleksandra Faust, Vijay Janapa Reddi
• Abstract要約: ArchGymは、さまざまな検索アルゴリズムをアーキテクチャシミュレータに接続するオープンソースのフレームワークである。 我々は、カスタムメモリコントローラ、ディープニューラルネットワークアクセラレータ、AR/VRワークロード用のカスタムSOCを設計する際に、複数のバニラおよびドメイン固有の検索アルゴリズムにわたってArchGymを評価する。
• 参考スコア（独自算出の注目度）: 52.57999109204569
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning is a prevalent approach to tame the complexity of design space exploration for domain-specific architectures. Using ML for design space exploration poses challenges. First, it's not straightforward to identify the suitable algorithm from an increasing pool of ML methods. Second, assessing the trade-offs between performance and sample efficiency across these methods is inconclusive. Finally, lack of a holistic framework for fair, reproducible, and objective comparison across these methods hinders progress of adopting ML-aided architecture design space exploration and impedes creating repeatable artifacts. To mitigate these challenges, we introduce ArchGym, an open-source gym and easy-to-extend framework that connects diverse search algorithms to architecture simulators. To demonstrate utility, we evaluate ArchGym across multiple vanilla and domain-specific search algorithms in designing custom memory controller, deep neural network accelerators, and custom SoC for AR/VR workloads, encompassing over 21K experiments. Results suggest that with unlimited samples, ML algorithms are equally favorable to meet user-defined target specification if hyperparameters are tuned; no solution is necessarily better than another (e.g., reinforcement learning vs. Bayesian methods). We coin the term hyperparameter lottery to describe the chance for a search algorithm to find an optimal design provided meticulously selected hyperparameters. The ease of data collection and aggregation in ArchGym facilitates research in ML-aided architecture design space exploration. As a case study, we show this advantage by developing a proxy cost model with an RMSE of 0.61% that offers a 2,000-fold reduction in simulation time. Code and data for ArchGym is available at https://bit.ly/ArchGym.
• Abstract（参考訳）: 機械学習はドメイン固有アーキテクチャの設計空間探索の複雑さを和らげるための一般的なアプローチです。 mlをデザインスペース探索に使用することは課題となる。 まず、MLメソッドのプールの増加から適切なアルゴリズムを識別するのは簡単ではありません。 第二に、これらの手法における性能とサンプル効率のトレードオフを評価することは決定的ではない。 最後に、公平で再現可能で客観的な比較のための全体論的な枠組みが欠如していることは、ML支援アーキテクチャ設計空間探索の導入の進展を妨げ、繰り返し可能なアーティファクトの作成を妨げる。 これらの課題を緩和するために,我々は,さまざまな検索アルゴリズムとアーキテクチャシミュレータを接続する,オープンソースのジムおよび拡張容易フレームワークであるarchgymを紹介する。 汎用性を示すために,カスタムメモリコントローラ,ディープニューラルネットワークアクセラレータ,ar/vrワークロード用のカスタムsocの設計において,複数のバニラおよびドメイン固有検索アルゴリズムにまたがるアーチギムを評価する。 結果は、無制限のサンプルでは、ハイパーパラメータがチューニングされた場合、MLアルゴリズムはユーザー定義のターゲット仕様を満たすのに等しく好ましいことを示唆している。 提案手法は,探索アルゴリズムが精密に選択されたハイパーパラメータを最適に設計する可能性を示すために,ハイパーパラメータ抽選という用語を作成した。 データ収集とアグリゲーションの容易さは、ml支援アーキテクチャ設計スペース探索の研究を促進する。 ケーススタディでは、シミュレーション時間を2000倍に削減するRMSEの0.61%のプロキシコストモデルを開発することにより、この利点を示す。 ArchGymのコードとデータはhttps://bit.ly/ArchGymで入手できる。

関連論文リスト

• Archon: An Architecture Search Framework for Inference-Time Techniques [31.655124464284523]
  Archonは推論時のテクニックのレイヤを選択し、組み合わせ、積み重ねるためのフレームワークである。 我々は,Archonアーキテクチャを,命令フォロー,推論,コーディングベンチマークの範囲で評価する。
  論文  参考訳（メタデータ） (2024-09-23T17:53:42Z)
• Multi-Agent Reinforcement Learning for Microprocessor Design Space Exploration [71.95914457415624]
  マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。 この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。 評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2022-11-29T17:10:24Z)
• Searching a High-Performance Feature Extractor for Text Recognition Network [92.12492627169108]
  優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:49:04Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• AutoSpace: Neural Architecture Search with Less Human Interference [84.42680793945007]
  現在のニューラルネットワークアーキテクチャ検索(NAS)アルゴリズムは、ネットワーク構築のための検索空間を設計するための専門知識と努力を必要とします。 探索空間を最適なものに進化させる新しい微分可能な進化フレームワークであるAutoSpaceを提案する。 学習した検索空間では、最近のNASアルゴリズムの性能は、以前手作業で設計した空間に比べて大幅に改善できる。
  論文  参考訳（メタデータ） (2021-03-22T13:28:56Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• Fine-Grained Stochastic Architecture Search [6.277767522867666]
  Fine-Grained Architecture Search (FiGS) は、より大きな候補アーキテクチャの集合を探索する微分可能な検索手法である。 FiGSは、構造化スパース正規化ペナルティを適用して、検索空間内の演算子を同時に選択・変更する。 既存の3つの検索空間にまたがって結果を示し、元の検索アルゴリズムのマッチングや性能を向上する。
  論文  参考訳（メタデータ） (2020-06-17T01:04:14Z)
• AlphaGAN: Fully Differentiable Architecture Search for Generative Adversarial Networks [15.740179244963116]
  GAN (Generative Adversarial Networks) はミニマックスゲーム問題として定式化され、ジェネレータは差別者に対する対戦学習によって実際のデータ分布にアプローチしようとする。 本研究は,ネットワークアーキテクチャの観点からのモデル学習を促進することを目的として,GANに自動アーキテクチャ探索の最近の進歩を取り入れた。 我々は,αGANと呼ばれる,生成的敵ネットワークのための,完全に差別化可能な検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-16T13:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。