論文の概要: Large Language Model-Based Evolutionary Optimizer: Reasoning with
elitism
- arxiv url: http://arxiv.org/abs/2403.02054v1
- Date: Mon, 4 Mar 2024 13:57:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 18:37:55.883972
- Title: Large Language Model-Based Evolutionary Optimizer: Reasoning with
elitism
- Title(参考訳): 大規模言語モデルに基づく進化的オプティマイザ:elithmによる推論
- Authors: Shuvayan Brahmachary, Subodh M. Joshi, Aniruddha Panda, Kaushik
Koneripalli, Arun Kumar Sagotra, Harshil Patel, Ankush Sharma, Ameya D.
Jagtap, Kaushic Kalyanaraman
- Abstract要約: 大規模言語モデル(LLM)は、顕著な推論能力を示している。
本稿では,LLMが様々なシナリオにまたがるゼロショット最適化能力を有していることを主張する。
LLMを用いた数値最適化手法を提案する。
- 参考スコア(独自算出の注目度): 1.1463861912335864
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Language Models (LLMs) have demonstrated remarkable reasoning
abilities, prompting interest in their application as black-box optimizers.
This paper asserts that LLMs possess the capability for zero-shot optimization
across diverse scenarios, including multi-objective and high-dimensional
problems. We introduce a novel population-based method for numerical
optimization using LLMs called Language-Model-Based Evolutionary Optimizer
(LEO). Our hypothesis is supported through numerical examples, spanning
benchmark and industrial engineering problems such as supersonic nozzle shape
optimization, heat transfer, and windfarm layout optimization. We compare our
method to several gradient-based and gradient-free optimization approaches.
While LLMs yield comparable results to state-of-the-art methods, their
imaginative nature and propensity to hallucinate demand careful handling. We
provide practical guidelines for obtaining reliable answers from LLMs and
discuss method limitations and potential research directions.
- Abstract(参考訳): 大規模言語モデル(llm)は驚くべき推論能力を示し、ブラックボックスオプティマイザとしてアプリケーションへの関心を高めた。
本稿では,多目的および高次元問題を含む多様なシナリオにおいて,llmがゼロショット最適化の能力を有することを述べる。
本稿では,言語モデルに基づく進化最適化 (LEO) と呼ばれるLLMを用いた数値最適化手法を提案する。
本仮説は,超音速ノズル形状最適化,熱伝達,風洞配置最適化などの産業工学的問題とベンチマークの数値例を通じて支持される。
本手法を勾配ベースおよび勾配のない最適化手法と比較する。
LLMは最先端の手法に匹敵する結果をもたらすが、その想像的性質と幻覚的要求対応の妥当性は高い。
我々は,LCMから信頼性の高い回答を得るための実践的ガイドラインを提案し,手法の限界と潜在的研究の方向性について議論する。
関連論文リスト
- Exploring the True Potential: Evaluating the Black-box Optimization Capability of Large Language Models [32.859634302766146]
大規模言語モデル(LLM)は広く普及し、自然言語処理タスクでは例外的な性能を示した。
本稿では、最適化タスクにおけるLLMの可能性について、より深い洞察を提供することにより、この問題に取り組みます。
我々のアプローチでは、離散的および連続的な最適化問題を網羅的に評価する。
論文 参考訳(メタデータ) (2024-04-09T13:17:28Z) - How Multimodal Integration Boost the Performance of LLM for
Optimization: Case Study on Capacitated Vehicle Routing Problems [33.33996058215666]
大規模言語モデル(LLM)は、複雑な最適化課題に対処するための有能なツールとして自らを位置づけている。
テキストと視覚の両方のプロンプトを処理可能なマルチモーダルLLMを用いて最適化性能を向上させることを提案する。
論文 参考訳(メタデータ) (2024-03-04T06:24:21Z) - Large Language Models As Evolution Strategies [6.873777465945062]
本研究では,大規模言語モデル (LLM) が進化的最適化アルゴリズムを実装可能であるかどうかを考察する。
我々は,最小から最多の集団集団を選別する新規なプロンプト戦略を導入する。
我々の設定により、ユーザがLLMベースの進化戦略を得ることができ、それはEvoLLM'と呼ばれ、ベースラインアルゴリズムを頑健に上回る。
論文 参考訳(メタデータ) (2024-02-28T15:02:17Z) - Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。
モデルパラメータ学習における2つの重要な要素を同定する。
特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
論文 参考訳(メタデータ) (2024-02-27T15:05:32Z) - Revisiting Zeroth-Order Optimization for Memory-Efficient LLM
Fine-Tuning: A Benchmark [170.47660885570463]
本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。
従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。
本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
論文 参考訳(メタデータ) (2024-02-18T14:08:48Z) - Are Large Language Models Good Prompt Optimizers? [65.48910201816223]
我々は,LLMに基づくPrompt Optimizationの実際のメカニズムを明らかにするために研究を行っている。
以上の結果から, LLMは, 反射中の誤差の真の原因を特定するのに苦慮し, 自己の事前知識に偏っていることが明らかとなった。
我々は、より制御可能な方法でターゲットモデルの振舞いを直接最適化する新しい「自動振舞い最適化」パラダイムを導入する。
論文 参考訳(メタデータ) (2024-02-03T09:48:54Z) - Query-Dependent Prompt Evaluation and Optimization with Offline Inverse
RL [62.824464372594576]
ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。
このような最適化では、以前見過ごされたクエリ依存の目的を特定します。
本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
論文 参考訳(メタデータ) (2023-09-13T01:12:52Z) - Large Language Models as Optimizers [106.52386531624532]
本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。
各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。
OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
論文 参考訳(メタデータ) (2023-09-07T00:07:15Z) - An Empirical Evaluation of Zeroth-Order Optimization Methods on
AI-driven Molecule Optimization [78.36413169647408]
分子目的を最適化するための様々なZO最適化手法の有効性について検討する。
ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。
本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
論文 参考訳(メタデータ) (2022-10-27T01:58:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。