論文の概要: Guided Evolution with Binary Discriminators for ML Program Search

• arxiv url: http://arxiv.org/abs/2402.05821v1
• Date: Thu, 8 Feb 2024 16:59:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 14:05:14.574110
• Title: Guided Evolution with Binary Discriminators for ML Program Search
• Title（参考訳）: MLプログラム探索のための二項判別器によるガイド付き進化
• Authors: John D. Co-Reyes, Yingjie Miao, George Tucker, Aleksandra Faust, Esteban Real
• Abstract要約: プログラムのペアがどのプログラムの方が優れているかを識別するために、オンラインで訓練された二項判別器による指導進化を提案する。 本稿では,MLの記号探索における3.7倍の高速化,RL損失関数の4倍の高速化など,様々な問題に対する進化の高速化を実証する。
• 参考スコア（独自算出の注目度）: 64.44893463120584
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How to automatically design better machine learning programs is an open problem within AutoML. While evolution has been a popular tool to search for better ML programs, using learning itself to guide the search has been less successful and less understood on harder problems but has the promise to dramatically increase the speed and final performance of the optimization process. We propose guiding evolution with a binary discriminator, trained online to distinguish which program is better given a pair of programs. The discriminator selects better programs without having to perform a costly evaluation and thus speed up the convergence of evolution. Our method can encode a wide variety of ML components including symbolic optimizers, neural architectures, RL loss functions, and symbolic regression equations with the same directed acyclic graph representation. By combining this representation with modern GNNs and an adaptive mutation strategy, we demonstrate our method can speed up evolution across a set of diverse problems including a 3.7x speedup on the symbolic search for ML optimizers and a 4x speedup for RL loss functions.
• Abstract（参考訳）: より良い機械学習プログラムを自動的に設計する方法は、AutoML内のオープンな問題である。 進化はより良いMLプログラムを探すツールとして人気があるが、学習そのものを使って検索をガイドすることは成功せず、難しい問題に対する理解も少ないが、最適化プロセスのスピードと最終的なパフォーマンスを劇的に向上させるという約束がある。 オンライン上の2進判別器を用いて,どのプログラムがよいプログラムであるかを識別する指導手法を提案する。 判別器は、コストのかかる評価を行うことなくより良いプログラムを選択し、進化の収束を高速化する。 本手法は, 記号最適化, ニューラルアーキテクチャ, RL損失関数, および同じ有向非巡回グラフ表現を持つ記号回帰方程式を含む多種多様なML成分を符号化することができる。 この表現を現代のGNNと適応的突然変異戦略を組み合わせることで、MLオプティマイザのシンボル探索における3.7倍の高速化、RL損失関数の4倍の高速化など、様々な問題における進化を高速化できることを示す。

関連論文リスト

• Evolution Transformer: In-Context Evolutionary Optimization [6.873777465945062]
  本稿では、進化戦略のファミリーを柔軟に特徴付けることができる因果トランスフォーマーアーキテクチャである進化トランスフォーマーを紹介する。 進化的アルゴリズム蒸留(Evolutionary Algorithm Distillation)を用いてモデルの重み付けを訓練する。 進化変換器の動作特性を解析し,進化変換器を自己参照的に学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-03-05T14:04:13Z)
• Graph Neural Network Autoencoders for Efficient Quantum Circuit Optimisation [69.43216268165402]
  我々は、量子回路の最適化にグラフニューラルネットワーク(GNN)オートエンコーダの使い方を初めて提示する。 我々は、量子回路から有向非巡回グラフを構築し、そのグラフを符号化し、その符号化を用いてRL状態を表現する。 我々の手法は、非常に大規模なRL量子回路最適化に向けた最初の現実的な第一歩である。
  論文  参考訳（メタデータ） (2023-03-06T16:51:30Z)
• evosax: JAX-based Evolution Strategies [0.0]
  evosaxは進化最適化アルゴリズムのJAXベースのライブラリです。 evosaxは30の進化最適化アルゴリズムを実装している。 モジュラー方式で設計されており、シンプルなRequest-evaluate-tell APIを通じてフレキシブルな使用を可能にする。
  論文  参考訳（メタデータ） (2022-12-08T10:34:42Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
  置換フローショップスケジューリング(PFSS)は製造業で広く使われている。 我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。 我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
  論文  参考訳（メタデータ） (2022-10-31T09:46:26Z)
• Learning to Optimize Quasi-Newton Methods [22.504971951262004]
  本稿では、最適化時に最適な事前条件をオンラインで学習するLODOと呼ばれる新しい機械学習を提案する。 他のL2Oメソッドとは異なり、LODOはトレーニングタスクの配布にメタトレーニングを一切必要としない。 この勾配は, 雑音場における逆 Hessian を近似し, 幅広い逆 Hessian を表現可能であることを示す。
  論文  参考訳（メタデータ） (2022-10-11T03:47:14Z)
• Reinforcement Learning for Branch-and-Bound Optimisation using Retrospective Trajectories [72.15369769265398]
  機械学習は分岐のための有望なパラダイムとして登場した。 分岐のための単純かつ効果的なRLアプローチであるレトロ分岐を提案する。 我々は現在最先端のRL分岐アルゴリズムを3～5倍に上回り、500の制約と1000の変数を持つMILP上での最高のILメソッドの性能の20%以内である。
  論文  参考訳（メタデータ） (2022-05-28T06:08:07Z)
• Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
  最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。 この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
  論文  参考訳（メタデータ） (2021-03-23T20:46:20Z)
• Transferable Graph Optimizers for ML Compilers [18.353830282858834]
  計算グラフ最適化(GO)のためのエンドツーエンドで転送可能な深層強化学習法を提案する。 GOは個々のノードに対して自動回帰ではなく,グラフ全体の決定を生成する。 GOは、人間の専門家よりも21%改善し、先行技術よりも18%改善し、15倍早く収束する。
  論文  参考訳（メタデータ） (2020-10-21T20:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。