Fugu-MT 論文翻訳(概要): Large Language Models as Surrogate Models in Evolutionary Algorithms: A Preliminary Study

論文の概要: Large Language Models as Surrogate Models in Evolutionary Algorithms: A Preliminary Study

arxiv url: http://arxiv.org/abs/2406.10675v1
Date: Sat, 15 Jun 2024 15:54:00 GMT
ステータス: 処理完了
システム内更新日: 2024-06-18 23:14:08.738484
Title: Large Language Models as Surrogate Models in Evolutionary Algorithms: A Preliminary Study
Title（参考訳）: 進化的アルゴリズムにおける代理モデルとしての大規模言語モデル:予備的検討
Authors: Hao Hao, Xiaoqun Zhang, Aimin Zhou,
Abstract要約: サロゲートアシスト選択は、高価な最適化問題を解決する進化アルゴリズムの中核的なステップである。伝統的に、これは従来の機械学習手法に依存しており、過去の評価を利用して新しいソリューションの性能を予測する。本研究では,LLM推論機能に基づいた新しいサロゲートモデルを提案する。
参考スコア（独自算出の注目度）: 5.6787965501364335
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) have achieved significant progress across various fields and have exhibited strong potential in evolutionary computation, such as generating new solutions and automating algorithm design. Surrogate-assisted selection is a core step in evolutionary algorithms to solve expensive optimization problems by reducing the number of real evaluations. Traditionally, this has relied on conventional machine learning methods, leveraging historical evaluated evaluations to predict the performance of new solutions. In this work, we propose a novel surrogate model based purely on LLM inference capabilities, eliminating the need for training. Specifically, we formulate model-assisted selection as a classification and regression problem, utilizing LLMs to directly evaluate the quality of new solutions based on historical data. This involves predicting whether a solution is good or bad, or approximating its value. This approach is then integrated into evolutionary algorithms, termed LLM-assisted EA (LAEA). Detailed experiments compared the visualization results of 2D data from 9 mainstream LLMs, as well as their performance on optimization problems. The experimental results demonstrate that LLMs have significant potential as surrogate models in evolutionary computation, achieving performance comparable to traditional surrogate models only using inference. This work offers new insights into the application of LLMs in evolutionary computation. Code is available at: https://github.com/hhyqhh/LAEA.git
Abstract（参考訳）: 大規模言語モデル(LLM)は様々な分野において大きな進歩を遂げており、新しいソリューションの生成やアルゴリズム設計の自動化など、進化的計算に強い可能性を示している。サロゲートアシスト選択は、真の評価数を減らして高価な最適化問題を解決する進化アルゴリズムの中核的なステップである。伝統的に、これは従来の機械学習手法に依存しており、過去の評価を利用して新しいソリューションの性能を予測する。本研究では,LLM推論機能に基づいた新しいサロゲートモデルを提案する。具体的には, LLMを用いたモデル支援選択を分類・回帰問題として定式化し, 過去のデータに基づいて新しい解の質を直接評価する。これは、ソリューションが良いか悪いかを予測すること、あるいはその価値を近似することを含む。このアプローチは、LLM支援EA(LAEA)と呼ばれる進化的アルゴリズムに統合される。詳細な実験では、9つのLLMの2次元データの可視化結果と最適化問題の性能を比較した。実験の結果,LLMは進化計算における代理モデルとして有意な可能性を示し,従来の代理モデルに匹敵する性能を得ることができた。この研究は、進化計算におけるLLMの適用に関する新たな洞察を提供する。コードは、https://github.com/hhyqhh/LAEA.gitで入手できる。

関連論文リスト

Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
論文参考訳（メタデータ） (2024-10-30T17:20:10Z)
Comparative study of regression vs pairwise models for surrogate-based heuristic optimisation [1.2535250082638645]
本稿では, シュロゲート問題の定式化を, 適合度を近似する回帰モデル(表面シュロゲートモデル)と, 分類モデル(ペアワイズ・シュロゲートモデル)を結合する新しい方法の両方として扱う。オンライン機械学習に基づくサロゲートモデルを用いる場合の全体探索の性能は、予測モデルの精度だけでなく、正または負のケースに対するバイアスの種類にも依存する。
論文参考訳（メタデータ） (2024-10-04T13:19:06Z)
Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
論文参考訳（メタデータ） (2024-06-12T16:58:41Z)
Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
論文参考訳（メタデータ） (2024-05-29T17:59:07Z)
LLM4ED: Large Language Models for Automatic Equation Discovery [0.8644909837301149]
我々は、自然言語に基づくプロンプトを利用して、データから支配方程式を自動的にマイニングする大規模言語モデルをガイドする新しいフレームワークを導入する。具体的には、まずLLMの生成能力を利用して、文字列形式で様々な方程式を生成し、次に観測に基づいて生成された方程式を評価する。実験は偏微分方程式と常微分方程式の両方で広範囲に行われる。
論文参考訳（メタデータ） (2024-05-13T14:03:49Z)
Large Language Models As Evolution Strategies [6.873777465945062]
本研究では,大規模言語モデル (LLM) が進化的最適化アルゴリズムを実装可能であるかどうかを考察する。我々は,最小から最多の集団集団を選別する新規なプロンプト戦略を導入する。我々の設定により、ユーザがLLMベースの進化戦略を得ることができ、それはEvoLLM'と呼ばれ、ベースラインアルゴリズムを頑健に上回る。
論文参考訳（メタデータ） (2024-02-28T15:02:17Z)
Algorithm Evolution Using Large Language Model [18.03090066194074]
大規模言語モデル(AEL)を用いた進化的アルゴリズムを提案する。 AELはモデルトレーニングなしでアルゴリズムレベルの進化を行う。人間の努力とドメイン知識の要求は大幅に削減できる。
論文参考訳（メタデータ） (2023-11-26T09:38:44Z)
Large Language Models as Evolutionary Optimizers [37.92671242584431]
本稿では,大言語モデル(LLM)を進化論として初めて研究する。主な利点は、最小限のドメイン知識と人間の努力が必要であり、モデルに追加のトレーニングは必要ありません。また,進化探索における自己適応機構の有効性についても検討した。
論文参考訳（メタデータ） (2023-10-29T15:44:52Z)
MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
論文参考訳（メタデータ） (2023-08-25T01:41:04Z)
Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文参考訳（メタデータ） (2021-06-17T17:26:31Z)
Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
論文参考訳（メタデータ） (2021-03-23T20:46:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。