Fugu-MT 論文翻訳(概要): Large Language Models as Evolutionary Optimizers

論文の概要: Large Language Models as Evolutionary Optimizers

arxiv url: http://arxiv.org/abs/2310.19046v1
Date: Sun, 29 Oct 2023 15:44:52 GMT
ステータス: 処理完了
システム内更新日: 2023-10-31 14:52:15.106725
Title: Large Language Models as Evolutionary Optimizers
Title（参考訳）: 進化的最適化としての大規模言語モデル
Authors: Shengcai Liu, Caishun Chen, Xinghua Qu, Ke Tang, Yew-Soon Ong
Abstract要約: 本稿では,大言語モデル(LLM)を進化論として初めて研究する。主な利点は、最小限のドメイン知識と人間の努力が必要であり、モデルに追加のトレーニングは必要ありません。また,進化探索における自己適応機構の有効性についても検討した。
参考スコア（独自算出の注目度）: 40.689519978893834
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Evolutionary algorithms (EAs) have achieved remarkable success in tackling complex combinatorial optimization problems. However, EAs often demand carefully-designed operators with the aid of domain expertise to achieve satisfactory performance. In this work, we present the first study on large language models (LLMs) as evolutionary combinatorial optimizers. The main advantage is that it requires minimal domain knowledge and human efforts, as well as no additional training of the model. This approach is referred to as LLM-driven EA (LMEA). Specifically, in each generation of the evolutionary search, LMEA instructs the LLM to select parent solutions from current population, and perform crossover and mutation to generate offspring solutions. Then, LMEA evaluates these new solutions and include them into the population for the next generation. LMEA is equipped with a self-adaptation mechanism that controls the temperature of the LLM. This enables it to balance between exploration and exploitation and prevents the search from getting stuck in local optima. We investigate the power of LMEA on the classical traveling salesman problems (TSPs) widely used in combinatorial optimization research. Notably, the results show that LMEA performs competitively to traditional heuristics in finding high-quality solutions on TSP instances with up to 20 nodes. Additionally, we also study the effectiveness of LLM-driven crossover/mutation and the self-adaptation mechanism in evolutionary search. In summary, our results reveal the great potentials of LLMs as evolutionary optimizers for solving combinatorial problems. We hope our research shall inspire future explorations on LLM-driven EAs for complex optimization challenges.
Abstract（参考訳）: 進化的アルゴリズム(EA)は複雑な組合せ最適化問題に対処することに成功した。しかし、EAはドメインの専門知識の助けを借りて、よく設計されたオペレーターに満足なパフォーマンスを要求します。本研究では,大規模言語モデル(LLM)を進化的組合せ最適化器として初めて研究する。主な利点は、最小限のドメイン知識と人間の努力が必要であり、モデルに追加のトレーニングは必要ありません。このアプローチはLLM駆動EA(LMEA)と呼ばれる。具体的には、進化探索の各世代において、LMEAはLLMに現在の個体群から親溶液を選択し、交叉と突然変異を行い、子孫溶液を生成するように指示する。そして、LMEAはこれらの新しいソリューションを評価し、それらを次世代の人口に含める。 LMEAはLLMの温度を制御する自己適応機構を備えている。これにより、探索とエクスプロイトのバランスを保ち、探索が局所的な最適化で行き詰まるのを防ぐことができる。組合せ最適化研究に広く用いられている古典的旅行セールスマン問題(TSP)に対するLMEAの力について検討する。特に、LMEAは、最大20ノードのTSPインスタンス上で高品質なソリューションを見つける際に、従来のヒューリスティックと競合して動作することを示す。さらに,LLMによるクロスオーバー・ミューテーションの有効性と,進化探索における自己適応機構についても検討した。結論として, 組合せ問題を解くための進化的最適化手法として, LLMの大きな可能性を明らかにした。我々の研究は、複雑な最適化課題に対するLLM駆動型EAの今後の探索を刺激することを期待します。

関連論文リスト

Deep Insights into Automated Optimization with Large Language Models and Evolutionary Algorithms [3.833708891059351]
大きな言語モデル(LLM)と進化的アルゴリズム(EA)は、制限を克服し、最適化をより自動化するための有望な新しいアプローチを提供する。 LLMは最適化戦略の生成、洗練、解釈が可能な動的エージェントとして機能する。 EAは進化作用素を通して、複雑な解空間を効率的に探索する。
論文参考訳（メタデータ） (2024-10-28T09:04:49Z)
EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
論文参考訳（メタデータ） (2024-10-08T17:54:03Z)
Large Language Models as Surrogate Models in Evolutionary Algorithms: A Preliminary Study [5.6787965501364335]
サロゲートアシスト選択は、高価な最適化問題を解決する進化アルゴリズムの中核的なステップである。伝統的に、これは従来の機械学習手法に依存しており、過去の評価を利用して新しいソリューションの性能を予測する。本研究では,LLM推論機能に基づいた新しいサロゲートモデルを提案する。
論文参考訳（メタデータ） (2024-06-15T15:54:00Z)
Autonomous Multi-Objective Optimization Using Large Language Model [28.14607885386587]
マルチオブジェクト最適化問題(MOPs)は、現実世界のアプリケーションではユビキタスである。我々は,MOPを解決するためのEA演算子を自律的に設計する新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-13T10:35:16Z)
Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
論文参考訳（メタデータ） (2024-05-29T17:59:07Z)
Large Language Model-Aided Evolutionary Search for Constrained Multiobjective Optimization [15.476478159958416]
我々は,制約付き多目的最適化問題に対する進化探索を強化するために,大規模言語モデル(LLM)を用いる。私たちの目標は、進化の集団の収束を早めることです。
論文参考訳（メタデータ） (2024-05-09T13:44:04Z)
RLEMMO: Evolutionary Multimodal Optimization Assisted By Deep Reinforcement Learning [8.389454219309837]
マルチモーダル最適化問題 (MMOP) は, 限られた関数評価において困難となる最適解の探索を必要とする。本稿では,メタブラックボックス最適化フレームワークであるRLEMMOを提案する。品質と多様性の両方を促進する新しい報酬メカニズムにより、RLEMMOはポリシー勾配アルゴリズムを用いて効果的に訓練できる。
論文参考訳（メタデータ） (2024-04-12T05:02:49Z)
Bridging Evolutionary Algorithms and Reinforcement Learning: A Comprehensive Survey on Hybrid Algorithms [50.91348344666895]
進化的強化学習(ERL)は進化的アルゴリズム(EA)と強化学習(RL)を統合して最適化する。本調査では,ERLの多様な研究分野について概観する。
論文参考訳（メタデータ） (2024-01-22T14:06:37Z)
Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers [70.18534453485849]
EvoPromptは離散的なプロンプト最適化のためのフレームワークである。進化的アルゴリズム(EA)の概念は、優れた性能と高速収束を示すものである。人為的なプロンプトと既存の方法で自動プロンプト生成を著しく上回っている。
論文参考訳（メタデータ） (2023-09-15T16:50:09Z)
Reinforcement Learning-assisted Evolutionary Algorithm: A Survey and Research Opportunities [63.258517066104446]
進化的アルゴリズムの構成要素として統合された強化学習は,近年,優れた性能を示している。本稿では,RL-EA 統合手法,RL-EA が採用する RL-EA 支援戦略,および既存文献による適用について論じる。 RL-EAセクションの適用例では、RL-EAのいくつかのベンチマークおよび様々な公開データセットにおける優れた性能を示す。
論文参考訳（メタデータ） (2023-08-25T15:06:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。