論文の概要: Evolution Transformer: In-Context Evolutionary Optimization

• arxiv url: http://arxiv.org/abs/2403.02985v1
• Date: Tue, 5 Mar 2024 14:04:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 14:41:38.234905
• Title: Evolution Transformer: In-Context Evolutionary Optimization
• Title（参考訳）: evolution transformer: コンテキスト内進化最適化
• Authors: Robert Tjarko Lange, Yingtao Tian, Yujin Tang
• Abstract要約: 本稿では、進化戦略のファミリーを柔軟に特徴付けることができる因果トランスフォーマーアーキテクチャである進化トランスフォーマーを紹介する。 進化的アルゴリズム蒸留(Evolutionary Algorithm Distillation)を用いてモデルの重み付けを訓練する。 進化変換器の動作特性を解析し,進化変換器を自己参照的に学習する手法を提案する。
• 参考スコア（独自算出の注目度）: 6.873777465945062
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evolutionary optimization algorithms are often derived from loose biological analogies and struggle to leverage information obtained during the sequential course of optimization. An alternative promising approach is to leverage data and directly discover powerful optimization principles via meta-optimization. In this work, we follow such a paradigm and introduce Evolution Transformer, a causal Transformer architecture, which can flexibly characterize a family of Evolution Strategies. Given a trajectory of evaluations and search distribution statistics, Evolution Transformer outputs a performance-improving update to the search distribution. The architecture imposes a set of suitable inductive biases, i.e. the invariance of the distribution update to the order of population members within a generation and equivariance to the order of the search dimensions. We train the model weights using Evolutionary Algorithm Distillation, a technique for supervised optimization of sequence models using teacher algorithm trajectories. The resulting model exhibits strong in-context optimization performance and shows strong generalization capabilities to otherwise challenging neuroevolution tasks. We analyze the resulting properties of the Evolution Transformer and propose a technique to fully self-referentially train the Evolution Transformer, starting from a random initialization and bootstrapping its own learning progress. We provide an open source implementation under https://github.com/RobertTLange/evosax.
• Abstract（参考訳）: 進化的最適化アルゴリズムは、しばしばゆるやかな生物学的類似から派生し、逐次最適化の過程で得られた情報を活用するのに苦労する。 別の有望なアプローチは、データを活用し、メタ最適化を通じて強力な最適化原則を直接発見することだ。 本稿では,このようなパラダイムに従い,進化戦略の族を柔軟に特徴付け可能な因果的トランスフォーマアーキテクチャである進化トランスフォーマを導入する。 評価と探索分布統計の軌跡が与えられると、 evolution transformer は探索分布に対する性能向上のアップデートを出力する。 このアーキテクチャは、世代内の人口構成員の順への分布更新の不分散と探索次元の順への同分散という、適切な帰納的バイアスの組を課している。 教師のアルゴリズム軌跡を用いた系列モデルの教師付き最適化手法である進化的アルゴリズム蒸留を用いてモデル重み付けを訓練する。 得られたモデルは、強いコンテキスト内最適化性能を示し、それ以外は困難な神経進化タスクに対する強力な一般化能力を示す。 進化変換器の特性を解析し,ランダム初期化から自己学習の進捗まで,進化変換器を自己回帰的に学習する手法を提案する。 我々はhttps://github.com/RobertTLange/evosax.comでオープンソース実装を提供しています。

関連論文リスト

• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
  いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。 我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。 本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
  論文  参考訳（メタデータ） (2023-09-11T22:42:50Z)
• Lottery Tickets in Evolutionary Optimization: On Sparse Backpropagation-Free Trainability [0.0]
  我々は勾配降下(GD)に基づくスパーストレーニングと進化戦略(ES)について研究する。 ESは多様で平坦な局所最適条件を探索し、疎度レベルと独立ランをまたいだ線形モード接続を保たないことがわかった。
  論文  参考訳（メタデータ） (2023-05-31T15:58:54Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)
• evosax: JAX-based Evolution Strategies [0.0]
  evosaxは進化最適化アルゴリズムのJAXベースのライブラリです。 evosaxは30の進化最適化アルゴリズムを実装している。 モジュラー方式で設計されており、シンプルなRequest-evaluate-tell APIを通じてフレキシブルな使用を可能にする。
  論文  参考訳（メタデータ） (2022-12-08T10:34:42Z)
• Accelerating the Evolutionary Algorithms by Gaussian Process Regression with $\epsilon$-greedy acquisition function [2.7716102039510564]
  本稿では,最適化の収束を早めるために,エリート個人を推定する新しい手法を提案する。 我々の提案には、エリート個人を推定し、最適化の収束を加速する幅広い見通しがある。
  論文  参考訳（メタデータ） (2022-10-13T07:56:47Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• Evolutionary Variational Optimization of Generative Models [0.0]
  分散最適化と進化的アルゴリズムの2つの一般的な最適化アプローチをジェネレーションモデルのための学習アルゴリズムの導出に組み合わせます。 進化的アルゴリズムは変動境界を効果的かつ効率的に最適化できることを示す。 ゼロショット」学習のカテゴリでは、多くのベンチマーク設定で最先端の技術を大幅に改善するために進化的変動アルゴリズムを観察しました。
  論文  参考訳（メタデータ） (2020-12-22T19:06:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。