論文の概要: Controlling the Mutation in Large Language Models for the Efficient Evolution of Algorithms

• arxiv url: http://arxiv.org/abs/2412.03250v1
• Date: Wed, 04 Dec 2024 11:49:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:09:29.185461
• Title: Controlling the Mutation in Large Language Models for the Efficient Evolution of Algorithms
• Title（参考訳）: アルゴリズムの効率的な進化のための大規模言語モデルにおける変異の制御
• Authors: Haoran Yin, Anna V. Kononova, Thomas Bäck, Niki van Stein,
• Abstract要約: 本稿では、遺伝的アルゴリズムの理論に触発された進化的枠組みにおける突然変異制御の新しいアプローチを紹介する。 本研究では,突然変異率を適応的に調節する動的突然変異プロンプトを提案する。 実験により, これらのダイナミックレートの導入により, LLaMEAの収束速度と適応性が向上することが示された。
• 参考スコア（独自算出の注目度）: 2.2485774453793037
• License:
• Abstract: The integration of Large Language Models (LLMs) with evolutionary computation (EC) has introduced a promising paradigm for automating the design of metaheuristic algorithms. However, existing frameworks, such as the Large Language Model Evolutionary Algorithm (LLaMEA), often lack precise control over mutation mechanisms, leading to inefficiencies in solution space exploration and potentially suboptimal convergence. This paper introduces a novel approach to mutation control within LLM-driven evolutionary frameworks, inspired by theory of genetic algorithms. Specifically, we propose dynamic mutation prompts that adaptively regulate mutation rates, leveraging a heavy-tailed power-law distribution to balance exploration and exploitation. Experiments using GPT-3.5-turbo and GPT-4o models demonstrate that GPT-3.5-turbo fails to adhere to the specific mutation instructions, while GPT-4o is able to adapt its mutation based on the prompt engineered dynamic prompts. Further experiments show that the introduction of these dynamic rates can improve the convergence speed and adaptability of LLaMEA, when using GPT-4o. This work sets the starting point for better controlled LLM-based mutations in code optimization tasks, paving the way for further advancements in automated metaheuristic design.
• Abstract（参考訳）: 大規模言語モデル(LLM)と進化計算(EC)の統合はメタヒューリスティックアルゴリズムの設計を自動化するための有望なパラダイムを導入している。 しかし、Large Language Model Evolutionary Algorithm (LLaMEA)のような既存のフレームワークは、しばしば突然変異機構の正確な制御を欠いているため、ソリューション空間探索や潜在的に最適でない収束において非効率な結果をもたらす。 本稿では,遺伝子アルゴリズム理論に触発されたLSMによる進化的枠組みにおける突然変異制御の新たなアプローチを提案する。 具体的には,突然変異率を適応的に調節する動的突然変異プロンプトを提案する。 GPT-3.5-turboモデルとGPT-4oモデルを用いた実験では、GPT-3.5-turboは特定の突然変異命令に従わないことが示されている。 さらに, GPT-4o を用いた場合, これらのダイナミックレートの導入により, LLaMEA の収束速度と適応性が向上することを示した。 この作業は、コード最適化タスクにおいて、より制御されたLLMベースの突然変異の出発点を設定し、自動メタヒューリスティック設計のさらなる進歩の道を開く。

関連論文リスト

• ControllableGPT: A Ground-Up Designed Controllable GPT for Molecule Optimization [6.900025190052277]
  我々は,大規模言語モデルのための制御可能なトレーニングフレームワークである ControllableGPT を紹介する。 成長と進化の生物学的プロセスにインスパイアされ、配列の伸長、縮小、突然変異を含む。 特定の位置やサブシーケンスの整合性を維持しつつ、シーケンス内の特定の位置と範囲の正確な管理を可能にする。
  論文  参考訳（メタデータ） (2025-02-15T01:49:35Z)
• A Simple yet Effective DDG Predictor is An Unsupervised Antibody Optimizer and Explainer [53.85265022754878]
  高速な突然変異スクリーニングのための軽量DDG予測器(Light-DDG)を提案する。 また、Light-DDGを事前学習するための数百万の突然変異データを含む大規模データセットもリリースした。 対象抗体について,変異選好を学習するための新しい変異説明器を提案する。
  論文  参考訳（メタデータ） (2025-02-10T09:26:57Z)
• Preparing Spin Squeezed States via Adaptive Genetic Algorithm [9.168152138847445]
  本稿では、適応型遺伝的アルゴリズム(GA)を用いて、制御シーケンスを反復的に最適化し、量子非古典状態を生成する新しい戦略を提案する。 ダーウィンの進化にインスパイアされたこのアルゴリズムは、クロスオーバー、突然変異、除去戦略を用いて、制御シーケンスを反復的に洗練する。 我々のアプローチは、一定の制御スキームと比較して、集合スピンモデルのスクイーズを維持できる様々な制御シーケンスが得られる。
  論文  参考訳（メタデータ） (2024-10-20T12:15:11Z)
• AffineQuant: Affine Transformation Quantization for Large Language Models [58.45460102764]
  ポストトレーニング量子化(PTQ)は、その圧縮効率とトレーニングの文脈における費用対効果により、かなりの関心を集めている。 既存の大規模言語モデル(LLM)のPTQ手法は、事前量子化重みと後量子化重みの間の変換のスケーリングに最適化範囲を制限している。 本稿では,PTQ(AffineQuant)における等価アフィン変換を用いた直接最適化を提唱する。
  論文  参考訳（メタデータ） (2024-03-19T08:40:21Z)
• LLM Guided Evolution - The Automation of Models Advancing Models [0.0]
  ガイドド・エボリューション(GE)は、従来の機械学習アプローチから切り離された斬新なフレームワークである。 思想の進化(EoT)は、従来の突然変異の結果からLLMを反映して学習させることでGEを強化する。 ExquisiteNetV2モデルの進化におけるGEの適用は,その有効性を示している。
  論文  参考訳（メタデータ） (2024-03-18T03:44:55Z)
• Benchmarking GPT-4 on Algorithmic Problems: A Systematic Evaluation of Prompting Strategies [47.129504708849446]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらした。 LLMは体系的な一般化を欠き、学習された統計正則をトレーニング分布の外へ外挿することができる。 本稿では,最も先進的なLCMの1つであるGPT-4の系統的なベンチマークを行う。
  論文  参考訳（メタデータ） (2024-02-27T10:44:52Z)
• Genetic Algorithm enhanced by Deep Reinforcement Learning in parent selection mechanism and mutation : Minimizing makespan in permutation flow shop scheduling problems [0.18846515534317265]
  RL+GA法はフローショップスケジューリング問題(FSP)で特に検証された。 このハイブリッドアルゴリズムはニューラルネットワーク(NN)を導入し、Qラーニング(Q-learning)というオフ政治手法を使用する。 本研究は, プリミティブGAの性能向上におけるRL+GAアプローチの有効性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-11-10T08:51:42Z)
• Towards Self-adaptive Mutation in Evolutionary Multi-Objective Algorithms [10.609857097723266]
  自己適応が多目的進化アルゴリズムに与える影響について検討する。 単一目的最適化とハイパーボリュームに基づく突然変異率の適応は,GSEMOの収束を早めることができることを示す。 本稿では,単一目的の最適化を考慮し,各ソリューションの突然変異率を個別に調整する自己適応突然変異GSEMOを提案する。
  論文  参考訳（メタデータ） (2023-03-08T14:26:46Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Effective Mutation Rate Adaptation through Group Elite Selection [50.88204196504888]
  本稿では,GESMR(Group Elite Selection of Mutation Rates)アルゴリズムを提案する。 GESMRは解の集団とMRの集団を共進化させ、各MRは解群に割り当てられる。 同じ数の関数評価とオーバーヘッドのほとんどないGESMRは、以前のアプローチよりも早く、より良いソリューションに収束する。
  論文  参考訳（メタデータ） (2022-04-11T01:08:26Z)
• AdaLead: A simple and robust adaptive greedy search algorithm for sequence design [55.41644538483948]
  我々は、容易で、拡張性があり、堅牢な進化的欲求アルゴリズム(AdaLead)を開発した。 AdaLeadは、様々な生物学的に動機づけられたシーケンスデザインの課題において、アートアプローチのより複雑な状態を克服する、驚くほど強力なベンチマークである。
  論文  参考訳（メタデータ） (2020-10-05T16:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。