論文の概要: Deep Insights into Automated Optimization with Large Language Models and Evolutionary Algorithms

• arxiv url: http://arxiv.org/abs/2410.20848v1
• Date: Mon, 28 Oct 2024 09:04:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:19:09.425232
• Title: Deep Insights into Automated Optimization with Large Language Models and Evolutionary Algorithms
• Title（参考訳）: 大規模言語モデルと進化的アルゴリズムによる最適化の自動化に関するDeep Insights
• Authors: He Yu, Jing Liu,
• Abstract要約: 大きな言語モデル(LLM)と進化的アルゴリズム(EA)は、制限を克服し、最適化をより自動化するための有望な新しいアプローチを提供する。 LLMは最適化戦略の生成、洗練、解釈が可能な動的エージェントとして機能する。 EAは進化作用素を通して、複雑な解空間を効率的に探索する。
• 参考スコア（独自算出の注目度）: 3.833708891059351
• License:
• Abstract: Designing optimization approaches, whether heuristic or meta-heuristic, usually demands extensive manual intervention and has difficulty generalizing across diverse problem domains. The combination of Large Language Models (LLMs) and Evolutionary Algorithms (EAs) offers a promising new approach to overcome these limitations and make optimization more automated. In this setup, LLMs act as dynamic agents that can generate, refine, and interpret optimization strategies, while EAs efficiently explore complex solution spaces through evolutionary operators. Since this synergy enables a more efficient and creative search process, we first conduct an extensive review of recent research on the application of LLMs in optimization. We focus on LLMs' dual functionality as solution generators and algorithm designers. Then, we summarize the common and valuable designs in existing work and propose a novel LLM-EA paradigm for automated optimization. Furthermore, centered on this paradigm, we conduct an in-depth analysis of innovative methods for three key components: individual representation, variation operators, and fitness evaluation. We address challenges related to heuristic generation and solution exploration, especially from the LLM prompts' perspective. Our systematic review and thorough analysis of the paradigm can assist researchers in better understanding the current research and promoting the development of combining LLMs with EAs for automated optimization.
• Abstract（参考訳）: ヒューリスティックであれメタヒューリスティックであれ、最適化アプローチの設計は通常、広範囲な手作業による介入を必要とし、多様な問題領域をまたいだ一般化が困難である。 大規模言語モデル(LLM)と進化的アルゴリズム(EA)の組み合わせは、これらの制限を克服し、最適化をより自動化する、有望な新しいアプローチを提供する。 このセットアップでは、LLMは最適化戦略の生成、洗練、解釈が可能な動的エージェントとして機能し、EAは進化的演算子を通して複雑な解空間を効率的に探索する。 このシナジーはより効率的で創造的な探索プロセスを可能にするため、最適化におけるLLMの適用に関する最近の研究を概観する。 我々は、ソリューションジェネレータとアルゴリズムデザイナとしてのLLMの二重機能に焦点を当てる。 そこで我々は,既存の作業において共通かつ価値のある設計を要約し,自動最適化のための新しいLCM-EAパラダイムを提案する。 さらに, このパラダイムを中心に, 個人表現, 変動演算子, 適合度評価の3つの重要な要素について, 革新的な手法を詳細に分析する。 ヒューリスティックな生成と解探索,特にLLMプロンプトの観点からの課題に対処する。 このパラダイムの体系的なレビューと徹底的な分析は、研究者が現在の研究をより深く理解し、自動最適化のためにLLMとEAを組み合わせる開発を促進するのに役立つ。

関連論文リスト

• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• Large Language Model Aided Multi-objective Evolutionary Algorithm: a Low-cost Adaptive Approach [4.442101733807905]
  本研究では,大規模言語モデル(LLM)と従来の進化的アルゴリズムを組み合わせることで,アルゴリズムの探索能力と一般化性能を向上させる新しいフレームワークを提案する。 適応機構内の補助的評価関数と自動的プロンプト構築を活用し, LLM の利用を柔軟に調整する。
  論文  参考訳（メタデータ） (2024-10-03T08:37:02Z)
• Iterative or Innovative? A Problem-Oriented Perspective for Code Optimization [81.88668100203913]
  大規模言語モデル(LLM)は、幅広いプログラミングタスクを解く上で強力な能力を示している。 本稿では,パフォーマンス向上に着目したコード最適化について検討する。
  論文  参考訳（メタデータ） (2024-06-17T16:10:10Z)
• Autonomous Multi-Objective Optimization Using Large Language Model [28.14607885386587]
  マルチオブジェクト最適化問題(MOPs)は、現実世界のアプリケーションではユビキタスである。 我々は,MOPを解決するためのEA演算子を自律的に設計する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-13T10:35:16Z)
• When Large Language Model Meets Optimization [7.822833805991351]
  大規模言語モデル(LLM)は、インテリジェントなモデリングと最適化における戦略的意思決定を容易にする。 本稿では,LLMと最適化アルゴリズムの組み合わせの進展と可能性について概説する。
  論文  参考訳（メタデータ） (2024-05-16T13:54:37Z)
• Large Language Model-Aided Evolutionary Search for Constrained Multiobjective Optimization [15.476478159958416]
  我々は,制約付き多目的最適化問題に対する進化探索を強化するために,大規模言語モデル(LLM)を用いる。 私たちの目標は、進化の集団の収束を早めることです。
  論文  参考訳（メタデータ） (2024-05-09T13:44:04Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Are Large Language Models Good Prompt Optimizers? [65.48910201816223]
  我々は,LLMに基づくPrompt Optimizationの実際のメカニズムを明らかにするために研究を行っている。 以上の結果から, LLMは, 反射中の誤差の真の原因を特定するのに苦慮し, 自己の事前知識に偏っていることが明らかとなった。 我々は、より制御可能な方法でターゲットモデルの振舞いを直接最適化する新しい「自動振舞い最適化」パラダイムを導入する。
  論文  参考訳（メタデータ） (2024-02-03T09:48:54Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• Large Language Models as Evolutionary Optimizers [37.92671242584431]
  本稿では,大言語モデル(LLM)を進化論として初めて研究する。 主な利点は、最小限のドメイン知識と人間の努力が必要であり、モデルに追加のトレーニングは必要ありません。 また,進化探索における自己適応機構の有効性についても検討した。
  論文  参考訳（メタデータ） (2023-10-29T15:44:52Z)
• Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers [70.18534453485849]
  EvoPromptは離散的なプロンプト最適化のためのフレームワークである。 進化的アルゴリズム(EA)の概念は、優れた性能と高速収束を示すものである。 人為的なプロンプトと既存の方法で自動プロンプト生成を著しく上回っている。
  論文  参考訳（メタデータ） (2023-09-15T16:50:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。