論文の概要: Accelerating evolutionary exploration through language model-based transfer learning
- arxiv url: http://arxiv.org/abs/2406.05166v1
- Date: Fri, 7 Jun 2024 08:05:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 22:55:40.727826
- Title: Accelerating evolutionary exploration through language model-based transfer learning
- Title（参考訳）: 言語モデルに基づく移動学習による進化的探索の加速
- Authors: Maximilian Reissmann, Yuan Fang, Andrew S. H. Ooi, Richard D. Sandberg,
- Abstract要約: 本稿では,伝達学習と遺伝子発現プログラミングを統合する手法を提案する。
このフレームワークは自然言語処理技術を統合し、過去の最適化で探索された方程式から相関や繰り返しパターンを識別する。
本結果は,移動学習機構によって導出された初期解が,改良された解に対するアルゴリズムの収束率を高めることを裏付けるものである。
- 参考スコア（独自算出の注目度）: 7.4439048149751095
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gene expression programming is an evolutionary optimization algorithm with the potential to generate interpretable and easily implementable equations for regression problems. Despite knowledge gained from previous optimizations being potentially available, the initial candidate solutions are typically generated randomly at the beginning and often only include features or terms based on preliminary user assumptions. This random initial guess, which lacks constraints on the search space, typically results in higher computational costs in the search for an optimal solution. Meanwhile, transfer learning, a technique to reuse parts of trained models, has been successfully applied to neural networks. However, no generalized strategy for its use exists for symbolic regression in the context of evolutionary algorithms. In this work, we propose an approach for integrating transfer learning with gene expression programming applied to symbolic regression. The constructed framework integrates Natural Language Processing techniques to discern correlations and recurring patterns from equations explored during previous optimizations. This integration facilitates the transfer of acquired knowledge from similar tasks to new ones. Through empirical evaluation of the extended framework across a range of univariate problems from an open database and from the field of computational fluid dynamics, our results affirm that initial solutions derived via a transfer learning mechanism enhance the algorithm's convergence rate towards improved solutions.
- Abstract（参考訳）: 遺伝子発現プログラミングは、回帰問題に対して解釈可能で容易に実装可能な方程式を生成するポテンシャルを持つ進化的最適化アルゴリズムである。
以前の最適化から得られた知識が利用可能であるにもかかわらず、初期候補のソリューションは通常、当初ランダムに生成され、しばしば予備的なユーザ仮定に基づいた機能や用語のみを含む。
このランダムな初期推定は、探索空間の制約を欠いているが、通常、最適解を求める際に高い計算コストをもたらす。
一方、トレーニングされたモデルの部品を再利用する技術であるトランスファーラーニングは、ニューラルネットワークにうまく適用されている。
しかし、進化的アルゴリズムの文脈における象徴的回帰のための一般化された戦略は存在しない。
そこで本研究では,伝達学習と遺伝子発現プログラミングを統合し,記号回帰に応用する手法を提案する。
構築されたフレームワークは自然言語処理技術を統合し、過去の最適化で探索された方程式から相関や繰り返しパターンを識別する。
この統合は、取得した知識を類似したタスクから新しいタスクへ移行することを容易にする。
オープンデータベースや計算流体力学の分野から、拡張されたフレームワークの実験的評価を通じて、移動学習機構によって導出された初期解が、改良された解に対するアルゴリズムの収束率を高めることを確認した。
関連論文リスト
- Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。
本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
論文 参考訳（メタデータ） (2023-12-29T04:15:58Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - Return of the RNN: Residual Recurrent Networks for Invertible Sentence
Embeddings [0.0]
本研究では、教師なし符号化タスクで訓練された残効再帰ネットワークを用いて、非可逆文埋め込みのための新しいモデルを提案する。
ニューラルネットワーク翻訳モデルに共通する確率的出力ではなく、回帰に基づく出力層を用いて入力シーケンスのワードベクトルを再構成する。
RNNはLSTMや2次最適化法などのメモリユニットを必要とすることを考えると、このモデルはADAMによる高精度かつ高速なトレーニングを実現している。
論文 参考訳（メタデータ） (2023-03-23T15:59:06Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳（メタデータ） (2023-01-28T01:50:42Z) - A Recursively Recurrent Neural Network (R2N2) Architecture for Learning
Iterative Algorithms [64.3064050603721]
本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。
本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
論文 参考訳（メタデータ） (2022-11-22T16:30:33Z) - Annealing Optimization for Progressive Learning with Stochastic
Approximation [0.0]
計算資源が限られているアプリケーションのニーズを満たすために設計された学習モデルを導入する。
我々は,オンラインな勾配近似アルゴリズムとして定式化されたオンラインプロトタイプベースの学習アルゴリズムを開発した。
学習モデルは、教師なし、教師なし、強化学習に使用される、解釈可能で、徐々に成長する競争的ニューラルネットワークモデルと見なすことができる。
論文 参考訳（メタデータ） (2022-09-06T21:31:01Z) - Scalable computation of prediction intervals for neural networks via
matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。
本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-06T13:18:31Z) - Neural Combinatorial Optimization: a New Player in the Field [69.23334811890919]
本稿では,ニューラルネットワークに基づくアルゴリズムの古典的最適化フレームワークへの導入に関する批判的分析を行う。
性能, 転送可能性, 計算コスト, 大規模インスタンスなど, これらのアルゴリズムの基本的側面を分析するために, 総合的研究を行った。
論文 参考訳（メタデータ） (2022-05-03T07:54:56Z) - Symbolic Regression via Neural-Guided Genetic Programming Population
Seeding [6.9501458586819505]
シンボリック回帰(英: Symbolic regression)は、NPハードであると一般に信じられている離散最適化問題である。
この問題を解決するための従来のアプローチには、ニューラルガイド付き検索と遺伝的プログラミングがある。
本稿では、ランダムに再起動する遺伝的プログラミングコンポーネントの開始集団をシードする神経誘導成分を提案する。
論文 参考訳（メタデータ） (2021-10-29T19:26:41Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - Behavior-based Neuroevolutionary Training in Reinforcement Learning [3.686320043830301]
本稿では,神経進化的最適化と価値に基づく強化学習を組み合わせたハイブリッドアルゴリズムを提案する。
この目的のために,エージェントポリシーの生成と最適化のための異なる手法を統合し,多様な集団を創出する。
その結果, 進化的手法のサンプル効率と学習速度を向上できることがわかった。
論文 参考訳（メタデータ） (2021-05-17T15:40:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。