論文の概要: HSEvo: Elevating Automatic Heuristic Design with Diversity-Driven Harmony Search and Genetic Algorithm Using LLMs

• arxiv url: http://arxiv.org/abs/2412.14995v1
• Date: Thu, 19 Dec 2024 16:07:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:33:49.504826
• Title: HSEvo: Elevating Automatic Heuristic Design with Diversity-Driven Harmony Search and Genetic Algorithm Using LLMs
• Title（参考訳）: HSEvo: LLMを用いた多様性駆動型高調波探索と遺伝的アルゴリズムによる自動ヒューリスティック設計の高度化
• Authors: Pham Vu Tuan Dat, Long Doan, Huynh Thi Thanh Binh,
• Abstract要約: ヒューリスティック・デザインは、複雑な探索とNP-ハード最適化の問題を解くのに有用であることから、活発な研究分野である。 適応型LLM-EPSフレームワークであるHSEvoを導入する。
• 参考スコア（独自算出の注目度）: 7.04316974339151
• License:
• Abstract: Automatic Heuristic Design (AHD) is an active research area due to its utility in solving complex search and NP-hard combinatorial optimization problems in the real world. The recent advancements in Large Language Models (LLMs) introduce new possibilities by coupling LLMs with evolutionary computation to automatically generate heuristics, known as LLM-based Evolutionary Program Search (LLM-EPS). While previous LLM-EPS studies obtained great performance on various tasks, there is still a gap in understanding the properties of heuristic search spaces and achieving a balance between exploration and exploitation, which is a critical factor in large heuristic search spaces. In this study, we address this gap by proposing two diversity measurement metrics and perform an analysis on previous LLM-EPS approaches, including FunSearch, EoH, and ReEvo. Results on black-box AHD problems reveal that while EoH demonstrates higher diversity than FunSearch and ReEvo, its objective score is unstable. Conversely, ReEvo's reflection mechanism yields good objective scores but fails to optimize diversity effectively. With this finding in mind, we introduce HSEvo, an adaptive LLM-EPS framework that maintains a balance between diversity and convergence with a harmony search algorithm. Through experimentation, we find that HSEvo achieved high diversity indices and good objective scores while remaining cost-effective. These results underscore the importance of balancing exploration and exploitation and understanding heuristic search spaces in designing frameworks in LLM-EPS.
• Abstract（参考訳）: 自動ヒューリスティック・デザイン (AHD) は, 実世界の複雑な探索問題とNP-ハード組合せ最適化問題の解法に有効であることから, 活発な研究分野である。 近年のLLM(Large Language Models)の進歩は、LLMと進化計算を結合してヒューリスティックを自動生成することで、LLMベースの進化プログラムサーチ(LLM-EPS)と呼ばれる新たな可能性をもたらす。 従来のLCM-EPS研究は様々なタスクにおいて優れた性能を発揮したが、ヒューリスティック検索空間の性質を理解し、探索と搾取のバランスを保ちながら、大きなヒューリスティック検索空間において重要な要素である。 本研究では,2つの多様性測定指標を提案し,FunSearch,EoH,ReEvoを含む従来のLCM-EPS手法の解析を行った。 ブラックボックスAHD問題の結果、EoHはFunSearchやReEvoよりも多様性が高いが、目標スコアは不安定であることがわかった。 逆に、ReEvoの反射機構は良い客観的スコアを得るが、多様性を効果的に最適化することができない。 この発見を念頭に,多様性と収束のバランスを調和探索アルゴリズムで維持する適応LLM-EPSフレームワークであるHSEvoを紹介する。 実験により,HSEvoは高い多様性指標と良好な客観的スコアを得たが,費用対効果は保たれた。 これらの結果は、LLM-EPSにおけるフレームワークの設計において、探索と搾取のバランスとヒューリスティック検索空間の理解の重要性を浮き彫りにしている。

関連論文リスト

• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• Multi-objective Evolution of Heuristic Using Large Language Model [29.337470185034555]
  ヒューリスティックスは、様々な探索と最適化の問題に取り組むために一般的に用いられる。 最近の研究は、その強力な言語と符号化能力を活用して、大規模言語モデル(LLM)を自動検索に取り入れている。 本稿では,多目的最適化問題として探索をモデル化し,最適性能以外の実践的基準を導入することを提案する。
  論文  参考訳（メタデータ） (2024-09-25T12:32:41Z)
• Understanding the Importance of Evolutionary Search in Automated Heuristic Design with Large Language Models [24.447539327343563]
  自動設計(AHD)は、有効物の開発を自動化する可能性についてかなりの注目を集めている。 近年の大規模言語モデル(LLM)の出現は、進化的プログラム探索問題としてのAHDのフレーミングに焦点をあてて、AHDの新しい道を開いた。
  論文  参考訳（メタデータ） (2024-07-15T16:21:20Z)
• Meta Reasoning for Large Language Models [58.87183757029041]
  大規模言語モデル(LLM)の新規かつ効率的なシステムプロセッシング手法であるメタ推論プロンプト(MRP)を導入する。 MRPは、各タスクの特定の要求に基づいて異なる推論メソッドを動的に選択し、適用するようLLMに誘導する。 総合的なベンチマークによりMPPの有効性を評価する。
  論文  参考訳（メタデータ） (2024-06-17T16:14:11Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Large Language Model-Aided Evolutionary Search for Constrained Multiobjective Optimization [15.476478159958416]
  我々は,制約付き多目的最適化問題に対する進化探索を強化するために,大規模言語モデル(LLM)を用いる。 私たちの目標は、進化の集団の収束を早めることです。
  論文  参考訳（メタデータ） (2024-05-09T13:44:04Z)
• ReEvo: Large Language Models as Hyper-Heuristics with Reflective Evolution [35.39046514910755]
  本稿では,言語ハイパーヒューリスティックス(LHHs)について紹介する。 LHHを効果的に探索するための進化探索(ReEvo)と、空間内の言語的勾配を提供する反射の新たな統合である。
  論文  参考訳（メタデータ） (2024-02-02T05:04:51Z)
• Large Language Models as Evolutionary Optimizers [37.92671242584431]
  本稿では,大言語モデル(LLM)を進化論として初めて研究する。 主な利点は、最小限のドメイン知識と人間の努力が必要であり、モデルに追加のトレーニングは必要ありません。 また,進化探索における自己適応機構の有効性についても検討した。
  論文  参考訳（メタデータ） (2023-10-29T15:44:52Z)
• Survival of the Most Influential Prompts: Efficient Black-Box Prompt Search via Clustering and Pruning [77.61565726647784]
  本稿では,まず検索空間をクラスタ化してプルークするブラックボックス探索手法を提案する。 検索空間設計と最適化は,ブラックボックス・プロンプトに基づく学習の有用性と効率性を両立させる上で重要な役割を担っている。
  論文  参考訳（メタデータ） (2023-10-19T14:25:06Z)
• Corex: Pushing the Boundaries of Complex Reasoning through Multi-Model Collaboration [83.4031923134958]
  Corexは,大規模言語モデルを自律エージェントに変換する,新たな汎用戦略スイートだ。 人間の振る舞いにインスパイアされたCorexは、Debate、Review、Retrieveモードといった多様なコラボレーションパラダイムによって構成されている。 我々は,複数のLDMを協調的に演奏することで,既存の手法に比べて性能が著しく向上することが実証された。
  論文  参考訳（メタデータ） (2023-09-30T07:11:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。