論文の概要: PyGlove: Symbolic Programming for Automated Machine Learning

• arxiv url: http://arxiv.org/abs/2101.08809v1
• Date: Thu, 21 Jan 2021 19:05:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-21 07:47:37.726771
• Title: PyGlove: Symbolic Programming for Automated Machine Learning
• Title（参考訳）: PyGlove: 自動機械学習のためのシンボリックプログラミング
• Authors: Daiyi Peng, Xuanyi Dong, Esteban Real, Mingxing Tan, Yifeng Lu, Hanxiao Liu, Gabriel Bender, Adam Kraft, Chen Liang, Quoc V. Le
• Abstract要約: シンボリックプログラミングに基づくAutoMLの新しいプログラミング方法を紹介します。 このパラダイムでは、MLプログラムは変更可能であるため、他のプログラムで簡単に操作できます。 PyGloveユーザーは、静的プログラムを検索空間に簡単に変換し、検索空間と検索アルゴリズムをすばやく繰り返し、複雑な検索フローを作成できることを示しています。
• 参考スコア（独自算出の注目度）: 88.15565138144042
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are sensitive to hyper-parameter and architecture choices. Automated Machine Learning (AutoML) is a promising paradigm for automating these choices. Current ML software libraries, however, are quite limited in handling the dynamic interactions among the components of AutoML. For example, efficientNAS algorithms, such as ENAS and DARTS, typically require an implementation coupling between the search space and search algorithm, the two key components in AutoML. Furthermore, implementing a complex search flow, such as searching architectures within a loop of searching hardware configurations, is difficult. To summarize, changing the search space, search algorithm, or search flow in current ML libraries usually requires a significant change in the program logic. In this paper, we introduce a new way of programming AutoML based on symbolic programming. Under this paradigm, ML programs are mutable, thus can be manipulated easily by another program. As a result, AutoML can be reformulated as an automated process of symbolic manipulation. With this formulation, we decouple the triangle of the search algorithm, the search space and the child program. This decoupling makes it easy to change the search space and search algorithm (without and with weight sharing), as well as to add search capabilities to existing code and implement complex search flows. We then introduce PyGlove, a new Python library that implements this paradigm. Through case studies on ImageNet and NAS-Bench-101, we show that with PyGlove users can easily convert a static program into a search space, quickly iterate on the search spaces and search algorithms, and craft complex search flows to achieve better results.
• Abstract（参考訳）: ニューラルネットワークはハイパーパラメータとアーキテクチャの選択に敏感である。 Automated Machine Learning (AutoML)は、これらの選択を自動化するための有望なパラダイムである。 しかし、現在のMLソフトウェアライブラリは、AutoMLのコンポーネント間の動的インタラクションの処理に非常に制限されている。 例えば、ENASやDARTSのような効率的なNASアルゴリズムは、通常、検索空間と検索アルゴリズムの間の実装結合を必要とする。 さらに,ハードウェア構成を探索するループ内のアーキテクチャの探索など,複雑な検索フローの実装も困難である。 要約すると、現在のMLライブラリの検索空間、検索アルゴリズム、または検索フローを変更するには、プログラムロジックに大きな変更が必要になる。 本稿では,記号型プログラミングに基づくAutoMLの新しいプログラミング手法を提案する。 このパラダイムでは、MLプログラムは変更可能であり、他のプログラムで容易に操作できる。 その結果、AutoMLはシンボル操作の自動化プロセスとして再編成できる。 この定式化により,探索アルゴリズム,探索空間,児童プログラムの三角形を分離する。 この分離により、検索スペースと検索アルゴリズム(ウェイトシェアなし)の変更が容易になり、既存のコードに検索機能を追加し、複雑な検索フローを実装することができる。 次に、このパラダイムを実装した新しいPythonライブラリであるPyGloveを紹介します。 ImageNetとNAS-Bench-101のケーススタディを通じて、PyGloveのユーザは静的プログラムを検索スペースに簡単に変換でき、検索スペースと検索アルゴリズムをすばやくイテレーションでき、複雑な検索フローを作成でき、より良い結果が得られることを示す。

関連論文リスト

• Unified Functional Hashing in Automatic Machine Learning [58.77232199682271]
  高速に統一された関数型ハッシュを用いることで,大きな効率向上が得られることを示す。 私たちのハッシュは"機能的"であり、表現やコードが異なる場合でも同等の候補を識別します。 ニューラルアーキテクチャ検索やアルゴリズム発見など、複数のAutoMLドメインで劇的な改善がなされている。
  論文  参考訳（メタデータ） (2023-02-10T18:50:37Z)
• Benchmarking AutoML algorithms on a collection of binary problems [3.3793659640122717]
  本稿では,Tree-based Pipeline Optimization Tool (TPOT), Auto-Sklearn, Auto-Sklearn 2, H2O AutoMLの4種類のAutoMLアルゴリズムの性能を比較した。 私たちはAutoMLがすべての含まれたデータセットでうまく機能するパイプラインを識別できることを確認します。
  論文  参考訳（メタデータ） (2022-12-06T01:53:50Z)
• Transformers Learn Shortcuts to Automata [52.015990420075944]
  ここでは,$o(T)$層のみを持つ浅層トランスフォーマーが,長さ$T$の入力シーケンス上でのオートマトン計算を再現可能であることを示す。 さらに、これらの解の脆性について検討し、潜在的な緩和を提案する。
  論文  参考訳（メタデータ） (2022-10-19T17:45:48Z)
• Exploring Complicated Search Spaces with Interleaving-Free Sampling [127.07551427957362]
  本稿では,長距離接続を伴う複雑な検索空間上に探索アルゴリズムを構築する。 我々はtextbfIF-NAS という単純なアルゴリズムを提案し、異なるサブネットワークを構築するために周期的なサンプリング戦略を実行する。 提案した探索空間において、IF-NASはランダムサンプリングと従来の重み付け検索のアルゴリズムを有意差で上回っている。
  論文  参考訳（メタデータ） (2021-12-05T06:42:48Z)
• Searching for More Efficient Dynamic Programs [61.79535031840558]
  本稿では,プログラム変換の集合,変換プログラムの効率を評価するための単純な指標,およびこの指標を改善するための探索手順について述べる。 実際に、自動検索は初期プログラムの大幅な改善を見出すことができることを示す。
  論文  参考訳（メタデータ） (2021-09-14T20:52:55Z)
• VolcanoML: Speeding up End-to-End AutoML via Scalable Search Space Decomposition [57.06900573003609]
  VolcanoMLは、大規模なAutoML検索スペースを小さなものに分解するフレームワークである。 最新のデータベースシステムでサポートされているような、Volcanoスタイルの実行モデルをサポートしている。 評価の結果,VolcanoMLは,AutoMLにおける検索空間分解の表現性を向上するだけでなく,分解戦略の実際の発見につながることが示された。
  論文  参考訳（メタデータ） (2021-07-19T13:23:57Z)
• GAMA: a General Automated Machine learning Assistant [4.035753155957698]
  General Automated Machine Learning Assistant(GAMA)は、ユーザーがAutoMLアルゴリズムが最適な機械学習パイプラインを探索する方法を追跡および制御できるようにするモジュール式AutoMLシステムである。 GAMAは、ユーザーが異なるAutoMLおよび後処理テクニックをプラグインでき、検索プロセスのログと視覚化が可能で、簡単にベンチマークできる。
  論文  参考訳（メタデータ） (2020-07-09T16:16:25Z)
• Lale: Consistent Automated Machine Learning [7.972562716069225]
  Laleは、自動化された機械学習を一貫した方法で単純化し統一する、ハイレベルなPythonインターフェースのライブラリである。 本稿では,自動機械学習を一貫した方法で単純化・統一する,ハイレベルPythonインタフェースのライブラリであるLaleを紹介する。
  論文  参考訳（メタデータ） (2020-07-04T00:55:41Z)
• Swarm Programming Using Moth-Flame Optimization and Whale Optimization Algorithms [0.0]
  本稿では,文法ベースのSwarmプログラミング手法をGMFO (Grammatical Moth-Flame-WA) とGWO (Grammatical Whale) の2つ提案する。 The Moth-Flame and Whale Optimization algorithm are used as search engine or learning algorithm in GMFO and GWO。 実験結果から,提案手法が自動プログラム生成に有効であることが示唆された。
  論文  参考訳（メタデータ） (2020-04-25T08:15:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。