論文の概要: PyGlove: Symbolic Programming for Automated Machine Learning

• arxiv url: http://arxiv.org/abs/2101.08809v1
• Date: Thu, 21 Jan 2021 19:05:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-21 07:47:37.726771
• Title: PyGlove: Symbolic Programming for Automated Machine Learning
• Title（参考訳）: PyGlove: 自動機械学習のためのシンボリックプログラミング
• Authors: Daiyi Peng, Xuanyi Dong, Esteban Real, Mingxing Tan, Yifeng Lu, Hanxiao Liu, Gabriel Bender, Adam Kraft, Chen Liang, Quoc V. Le
• Abstract要約: シンボリックプログラミングに基づくAutoMLの新しいプログラミング方法を紹介します。 このパラダイムでは、MLプログラムは変更可能であるため、他のプログラムで簡単に操作できます。 PyGloveユーザーは、静的プログラムを検索空間に簡単に変換し、検索空間と検索アルゴリズムをすばやく繰り返し、複雑な検索フローを作成できることを示しています。
• 参考スコア（独自算出の注目度）: 88.15565138144042
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are sensitive to hyper-parameter and architecture choices. Automated Machine Learning (AutoML) is a promising paradigm for automating these choices. Current ML software libraries, however, are quite limited in handling the dynamic interactions among the components of AutoML. For example, efficientNAS algorithms, such as ENAS and DARTS, typically require an implementation coupling between the search space and search algorithm, the two key components in AutoML. Furthermore, implementing a complex search flow, such as searching architectures within a loop of searching hardware configurations, is difficult. To summarize, changing the search space, search algorithm, or search flow in current ML libraries usually requires a significant change in the program logic. In this paper, we introduce a new way of programming AutoML based on symbolic programming. Under this paradigm, ML programs are mutable, thus can be manipulated easily by another program. As a result, AutoML can be reformulated as an automated process of symbolic manipulation. With this formulation, we decouple the triangle of the search algorithm, the search space and the child program. This decoupling makes it easy to change the search space and search algorithm (without and with weight sharing), as well as to add search capabilities to existing code and implement complex search flows. We then introduce PyGlove, a new Python library that implements this paradigm. Through case studies on ImageNet and NAS-Bench-101, we show that with PyGlove users can easily convert a static program into a search space, quickly iterate on the search spaces and search algorithms, and craft complex search flows to achieve better results.
• Abstract（参考訳）: ニューラルネットワークはハイパーパラメータとアーキテクチャの選択に敏感である。 Automated Machine Learning (AutoML)は、これらの選択を自動化するための有望なパラダイムである。 しかし、現在のMLソフトウェアライブラリは、AutoMLのコンポーネント間の動的インタラクションの処理に非常に制限されている。 例えば、ENASやDARTSのような効率的なNASアルゴリズムは、通常、検索空間と検索アルゴリズムの間の実装結合を必要とする。 さらに,ハードウェア構成を探索するループ内のアーキテクチャの探索など,複雑な検索フローの実装も困難である。 要約すると、現在のMLライブラリの検索空間、検索アルゴリズム、または検索フローを変更するには、プログラムロジックに大きな変更が必要になる。 本稿では,記号型プログラミングに基づくAutoMLの新しいプログラミング手法を提案する。 このパラダイムでは、MLプログラムは変更可能であり、他のプログラムで容易に操作できる。 その結果、AutoMLはシンボル操作の自動化プロセスとして再編成できる。 この定式化により,探索アルゴリズム,探索空間,児童プログラムの三角形を分離する。 この分離により、検索スペースと検索アルゴリズム(ウェイトシェアなし)の変更が容易になり、既存のコードに検索機能を追加し、複雑な検索フローを実装することができる。 次に、このパラダイムを実装した新しいPythonライブラリであるPyGloveを紹介します。 ImageNetとNAS-Bench-101のケーススタディを通じて、PyGloveのユーザは静的プログラムを検索スペースに簡単に変換でき、検索スペースと検索アルゴリズムをすばやくイテレーションでき、複雑な検索フローを作成でき、より良い結果が得られることを示す。

関連論文リスト

• A Training Data Recipe to Accelerate A* Search with Language Models [3.037409201025504]
  A*のような検索アルゴリズムを備えた大規模言語モデル(LLM)は、拡張された推論とスケーラブルな推論の約束を持っている。 我々は,A*探索アルゴリズムの要件を LLM の要件から実験的に切り離して,この課題を一般化する。 提案手法は,解を見つけるのに要する反復回数を最大15倍に削減し,壁面通過速度を最大5倍に向上させる。
  論文  参考訳（メタデータ） (2024-07-13T19:21:44Z)
• Integrating Hyperparameter Search into Model-Free AutoML with Context-Free Grammars [0.0]
  ハイパーパラメータ探索を含むより大きな検索空間をサポートするGramMLの拡張を提案する。 提案手法をOpenMLベンチマークを用いて評価した結果,他の最先端技術と比較して大幅な改善が得られた。
  論文  参考訳（メタデータ） (2024-04-04T12:54:13Z)
• Autonomous Tree-search Ability of Large Language Models [58.68735916408101]
  大規模言語モデルは、高度なプロンプト技術で顕著な推論能力に優れています。 近年の研究では、LLMがより困難な推論タスクを解くために受動的木探索を行えるように、検索ロジックを定義するために外部プログラムを活用することが提案されている。 我々は,LLMの自律木探索能力という新しい概念を提案し,正しい解を求める探索軌跡を含む応答を自動生成する。
  論文  参考訳（メタデータ） (2023-10-14T14:14:38Z)
• Unified Functional Hashing in Automatic Machine Learning [58.77232199682271]
  高速に統一された関数型ハッシュを用いることで,大きな効率向上が得られることを示す。 私たちのハッシュは"機能的"であり、表現やコードが異なる場合でも同等の候補を識別します。 ニューラルアーキテクチャ検索やアルゴリズム発見など、複数のAutoMLドメインで劇的な改善がなされている。
  論文  参考訳（メタデータ） (2023-02-10T18:50:37Z)
• Exploring Complicated Search Spaces with Interleaving-Free Sampling [127.07551427957362]
  本稿では,長距離接続を伴う複雑な検索空間上に探索アルゴリズムを構築する。 我々はtextbfIF-NAS という単純なアルゴリズムを提案し、異なるサブネットワークを構築するために周期的なサンプリング戦略を実行する。 提案した探索空間において、IF-NASはランダムサンプリングと従来の重み付け検索のアルゴリズムを有意差で上回っている。
  論文  参考訳（メタデータ） (2021-12-05T06:42:48Z)
• Searching for More Efficient Dynamic Programs [61.79535031840558]
  本稿では,プログラム変換の集合,変換プログラムの効率を評価するための単純な指標,およびこの指標を改善するための探索手順について述べる。 実際に、自動検索は初期プログラムの大幅な改善を見出すことができることを示す。
  論文  参考訳（メタデータ） (2021-09-14T20:52:55Z)
• VolcanoML: Speeding up End-to-End AutoML via Scalable Search Space Decomposition [57.06900573003609]
  VolcanoMLは、大規模なAutoML検索スペースを小さなものに分解するフレームワークである。 最新のデータベースシステムでサポートされているような、Volcanoスタイルの実行モデルをサポートしている。 評価の結果,VolcanoMLは,AutoMLにおける検索空間分解の表現性を向上するだけでなく,分解戦略の実際の発見につながることが示された。
  論文  参考訳（メタデータ） (2021-07-19T13:23:57Z)
• GAMA: a General Automated Machine learning Assistant [4.035753155957698]
  General Automated Machine Learning Assistant(GAMA)は、ユーザーがAutoMLアルゴリズムが最適な機械学習パイプラインを探索する方法を追跡および制御できるようにするモジュール式AutoMLシステムである。 GAMAは、ユーザーが異なるAutoMLおよび後処理テクニックをプラグインでき、検索プロセスのログと視覚化が可能で、簡単にベンチマークできる。
  論文  参考訳（メタデータ） (2020-07-09T16:16:25Z)
• Lale: Consistent Automated Machine Learning [7.972562716069225]
  Laleは、自動化された機械学習を一貫した方法で単純化し統一する、ハイレベルなPythonインターフェースのライブラリである。 本稿では,自動機械学習を一貫した方法で単純化・統一する,ハイレベルPythonインタフェースのライブラリであるLaleを紹介する。
  論文  参考訳（メタデータ） (2020-07-04T00:55:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。