論文の概要: Large Language Model for Multi-objective Evolutionary Optimization
- arxiv url: http://arxiv.org/abs/2310.12541v3
- Date: Tue, 26 Mar 2024 12:04:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 00:51:06.003934
- Title: Large Language Model for Multi-objective Evolutionary Optimization
- Title（参考訳）: 多目的進化最適化のための大規模言語モデル
- Authors: Fei Liu, Xi Lin, Zhenkun Wang, Shunyu Yao, Xialiang Tong, Mingxuan Yuan, Qingfu Zhang,
- Abstract要約: 多目的進化アルゴリズム(MOEA)は多目的最適化問題(MOP)を解決する主要な方法である
近年、MOEAにおいて手作業で設計された演算子を学習ベースの演算子に置き換える試みが試みられている。
本研究は,MOEA演算子の設計に強力な大規模言語モデル(LLM)を活用する新しいアプローチについて検討する。
- 参考スコア（独自算出の注目度）: 26.44390674048544
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multiobjective evolutionary algorithms (MOEAs) are major methods for solving multiobjective optimization problems (MOPs). Many MOEAs have been proposed in the past decades, of which the search operators need a carefully handcrafted design with domain knowledge. Recently, some attempts have been made to replace the manually designed operators in MOEAs with learning-based operators (e.g., neural network models). However, much effort is still required for designing and training such models, and the learned operators might not generalize well on new problems. To tackle the above challenges, this work investigates a novel approach that leverages the powerful large language model (LLM) to design MOEA operators. With proper prompt engineering, we successfully let a general LLM serve as a black-box search operator for decomposition-based MOEA (MOEA/D) in a zero-shot manner. In addition, by learning from the LLM behavior, we further design an explicit white-box operator with randomness and propose a new version of decomposition-based MOEA, termed MOEA/D-LO. Experimental studies on different test benchmarks show that our proposed method can achieve competitive performance with widely used MOEAs. It is also promising to see the operator only learned from a few instances can have robust generalization performance on unseen problems with quite different patterns and settings. The results reveal the potential benefits of using pre-trained LLMs in the design of MOEAs.To foster reproducibility and accessibility, the source code is https://github.com/FeiLiu36/LLM4MOEA.
- Abstract（参考訳）: 多目的進化アルゴリズム(MOEA)は、多目的最適化問題(MOP)を解決する主要な手法である。
過去数十年間、多くのMOEAが提案され、そのうちの1つは、ドメイン知識を持った慎重に手作りの設計を必要とするものである。
近年、MOEAにおいて手動で設計された演算子を学習ベースの演算子(例えばニューラルネットワークモデル)に置き換える試みが試みられている。
しかし、そのようなモデルを設計し、訓練するためにはまだ多くの努力が必要であり、学習した演算子は新しい問題に対してうまく一般化しないかもしれない。
上記の課題に対処するため,MOEA演算子の設計に強力な大規模言語モデル(LLM)を活用する新しいアプローチについて検討する。
適切なプロンプトエンジニアリングにより、ゼロショット方式で分解ベースのMOEA(MOEA/D)のためのブラックボックス探索演算子として、汎用LLMを機能させることに成功した。
さらに, LLMの挙動から学習することで, ランダムな明示的なホワイトボックス演算子を設計し, MOEA/D-LOと呼ばれる分解型MOEAの新バージョンを提案する。
実験結果から,提案手法は広く用いられているMOEAと競合する性能が得られることが示された。
また、オペレータがいくつかのインスタンスから学んだだけで、まったく異なるパターンや設定で見えない問題に対して、堅牢な一般化性能が得られることを約束している。
再現性とアクセシビリティを向上させるため、ソースコードはhttps://github.com/FeiLiu36/LLM4MOEAである。
関連論文リスト
- FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。
FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-08-15T16:45:16Z) - MoExtend: Tuning New Experts for Modality and Task Extension [61.29100693866109]
MoExtendは、Mixture-of-Experts (MoE)モデルのモダリティ適応と拡張を効率化する効果的なフレームワークである。
MoExtendは、新しいエキスパートをトレーニング済みのMoEモデルにシームレスに統合し、トレーニング済みのモデルをチューニングすることなく、新しい知識を提供する。
論文 参考訳（メタデータ） (2024-08-07T02:28:37Z) - Solving General Natural-Language-Description Optimization Problems with Large Language Models [34.50671063271608]
外部ソルバでLLMを増強するOPtLLMという新しいフレームワークを提案する。
OptLLMは自然言語でユーザクエリを受け付け、それらを数学的定式化やプログラミングコードに変換し、解決者を呼び出して結果を計算する。
OptLLMフレームワークのいくつかの機能は、2023年6月から試用されている。
論文 参考訳（メタデータ） (2024-07-09T07:11:10Z) - Autonomous Multi-Objective Optimization Using Large Language Model [28.14607885386587]
マルチオブジェクト最適化問題(MOPs)は、現実世界のアプリケーションではユビキタスである。
我々は,MOPを解決するためのEA演算子を自律的に設計する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-13T10:35:16Z) - Large Language Models As Evolution Strategies [6.873777465945062]
本研究では,大規模言語モデル (LLM) が進化的最適化アルゴリズムを実装可能であるかどうかを考察する。
我々は,最小から最多の集団集団を選別する新規なプロンプト戦略を導入する。
我々の設定により、ユーザがLLMベースの進化戦略を得ることができ、それはEvoLLM'と呼ばれ、ベースラインアルゴリズムを頑健に上回る。
論文 参考訳（メタデータ） (2024-02-28T15:02:17Z) - Towards Generalist Prompting for Large Language Models by Mental Models [105.03747314550591]
大規模言語モデル(LLM)は多くのタスクにおいて素晴らしいパフォーマンスを示している。
最適な性能を達成するには、特別に設計されたプロンプト法が必要である。
本稿では,最適あるいは準最適性能を実現する設計原理に基づくジェネラリストプロンプトの概念を紹介する。
論文 参考訳（メタデータ） (2024-02-28T11:29:09Z) - Model Composition for Multimodal Large Language Models [71.5729418523411]
本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。
我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
論文 参考訳（メタデータ） (2024-02-20T06:38:10Z) - Mixture of Cluster-conditional LoRA Experts for Vision-language Instruction Tuning [68.94230363140771]
クラスター条件のLoRAエキスパート(MoCLE)の混合
MoCLEは、命令クラスタに基づいてタスクカスタマイズされたモデルパラメータを活性化するために設計された、新しいMixture of Expertsアーキテクチャである。
InstructBLIPとLLaVAの実験はMoCLEの有効性を示した。
論文 参考訳（メタデータ） (2023-12-19T18:11:19Z) - Omni-SMoLA: Boosting Generalist Multimodal Models with Soft Mixture of Low-rank Experts [74.40198929049959]
大規模マルチモーダルモデル (LMM) は多くのタスクにまたがって優れた性能を示す。
ジェネラリストのLMMは、タスクの集合をチューニングする際に、しばしばパフォーマンスの劣化に悩まされる。
我々は,Omni-SMoLAを提案する。Omni-SMoLAはSoft MoEアプローチを用いて,多くのマルチモーダルな低ランクの専門家を混在させるアーキテクチャである。
論文 参考訳（メタデータ） (2023-12-01T23:04:27Z) - MOLE: Digging Tunnels Through Multimodal Multi-Objective Landscapes [0.0]
局所的に効率的な(LE)集合は、しばしば局所探索のトラップと見なされるが、決定空間において孤立されることは滅多にない。
Multi-Objective Gradient Sliding Algorithm (MOGSA)は、これらの重ね合わせを利用するアルゴリズムの概念である。
我々は,MMMOO問題におけるLE集合を効率的にモデル化し,活用できる新しいアルゴリズムであるMulti-Objective Landscape Explorer (MOLE)を提案する。
論文 参考訳（メタデータ） (2022-04-22T17:54:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。