論文の概要: Evolution of Heuristics: Towards Efficient Automatic Algorithm Design Using Large Language Model

• arxiv url: http://arxiv.org/abs/2401.02051v3
• Date: Sat, 1 Jun 2024 16:48:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 19:42:23.671732
• Title: Evolution of Heuristics: Towards Efficient Automatic Algorithm Design Using Large Language Model
• Title（参考訳）: ヒューリスティックスの進化:大規模言語モデルを用いた効率的な自動アルゴリズム設計を目指して
• Authors: Fei Liu, Xialiang Tong, Mingxuan Yuan, Xi Lin, Fu Luo, Zhenkun Wang, Zhichao Lu, Qingfu Zhang,
• Abstract要約: EoHは自然言語における思考の考えを表しており、これは「思考」と呼ばれている。 それらはLarge Language Models (LLM) によって実行可能なコードに変換される。 EoHは、オンラインのビンパッキング問題に対して、広く使われている人手作りのベースラインアルゴリズムを著しく上回っている。
• 参考スコア（独自算出の注目度）: 22.64392837434924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Heuristics are widely used for dealing with complex search and optimization problems. However, manual design of heuristics can be often very labour extensive and requires rich working experience and knowledge. This paper proposes Evolution of Heuristic (EoH), a novel evolutionary paradigm that leverages both Large Language Models (LLMs) and Evolutionary Computation (EC) methods for Automatic Heuristic Design (AHD). EoH represents the ideas of heuristics in natural language, termed thoughts. They are then translated into executable codes by LLMs. The evolution of both thoughts and codes in an evolutionary search framework makes it very effective and efficient for generating high-performance heuristics. Experiments on three widely studied combinatorial optimization benchmark problems demonstrate that EoH outperforms commonly used handcrafted heuristics and other recent AHD methods including FunSearch. Particularly, the heuristic produced by EoH with a low computational budget (in terms of the number of queries to LLMs) significantly outperforms widely-used human hand-crafted baseline algorithms for the online bin packing problem.
• Abstract（参考訳）: ヒューリスティックスは複雑な探索問題や最適化問題に広く用いられている。 しかしながら、ヒューリスティックスのマニュアルデザインは、しばしば非常に精力的に行われ、豊富な作業経験と知識を必要とする。 本稿では,Large Language Models (LLM) とEvolutionary Computation (EC) を併用した自動ヒューリスティックデザイン(AHD)の進化的パラダイムであるEoHを提案する。 EoHは、自然言語におけるヒューリスティックス(ヒューリスティックス)の思想を表現している。 その後、LLMによって実行可能なコードに変換される。 進化的探索フレームワークにおける思考とコードの両方の進化は、高性能なヒューリスティックを生成するのに非常に効果的かつ効果的である。 3つの広く研究されている組合せ最適化ベンチマーク問題の実験により、EoHは手作りヒューリスティックスやFunSearchを含む最近のAHD手法よりも優れていることが示された。 特に、計算予算の少ないEoHによるヒューリスティック(LCMへのクエリ数)は、オンラインビンパッキング問題において、広く使われている手作りのベースラインアルゴリズムよりも大幅に優れている。

関連論文リスト

• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Leveraging Large Language Model to Generate a Novel Metaheuristic Algorithm with CRISPE Framework [14.109964882720249]
  我々は,大言語モデル (LLM) ChatGPT-3.5 を借りて,少量の入力しか持たない新しいメタヒューリスティックアルゴリズム (MA) を自動かつ迅速に設計する。 動物にインスパイアされた新しい動物探索最適化(ZSO)は、継続的な最適化問題を解決するための動物の集団行動からインスピレーションを得ている。 CEC2014ベンチマーク関数,CEC2022ベンチマーク関数,および6つのエンジニアリング最適化問題に対するZSO処理アルゴリズムの性能について検討した。
  論文  参考訳（メタデータ） (2024-03-25T04:34:20Z)
• PhaseEvo: Towards Unified In-Context Prompt Optimization for Large Language Models [9.362082187605356]
  本稿では、LLMの生成能力と進化アルゴリズムのグローバル検索能力を組み合わせた効率的な自動プロンプト最適化フレームワークであるPhaseEvoについて述べる。 PhaseEvoは、優れた効率を維持しながら、最先端のベースライン手法を大きなマージンで大幅に上回っている。
  論文  参考訳（メタデータ） (2024-02-17T17:47:10Z)
• Guided Evolution with Binary Discriminators for ML Program Search [64.44893463120584]
  プログラムのペアがどのプログラムの方が優れているかを識別するために、オンラインで訓練された二項判別器による指導進化を提案する。 本稿では,MLの記号探索における3.7倍の高速化,RL損失関数の4倍の高速化など,様々な問題に対する進化の高速化を実証する。
  論文  参考訳（メタデータ） (2024-02-08T16:59:24Z)
• Large Language Models as Hyper-Heuristics for Combinatorial Optimization [35.39046514910755]
  本稿では,言語ハイパーヒューリスティックス(LHHs)について紹介する。 本稿では、白空間を効率的に探索するための進化的探索と、空間内の言語的勾配を提供する反射の新たな統合であるReEvoについて述べる。
  論文  参考訳（メタデータ） (2024-02-02T05:04:51Z)
• Algorithm Evolution Using Large Language Model [18.03090066194074]
  大規模言語モデル(AEL)を用いた進化的アルゴリズムを提案する。 AELはモデルトレーニングなしでアルゴリズムレベルの進化を行う。 人間の努力とドメイン知識の要求は大幅に削減できる。
  論文  参考訳（メタデータ） (2023-11-26T09:38:44Z)
• Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers [70.18534453485849]
  EvoPromptは離散的なプロンプト最適化のためのフレームワークである。 進化的アルゴリズム(EA)の概念は、優れた性能と高速収束を示すものである。 人為的なプロンプトと既存の方法で自動プロンプト生成を著しく上回っている。
  論文  参考訳（メタデータ） (2023-09-15T16:50:09Z)
• When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
  本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。 具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。 コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
  論文  参考訳（メタデータ） (2023-08-29T17:22:39Z)
• Tree-of-Mixed-Thought: Combining Fast and Slow Thinking for Multi-hop Visual Reasoning [16.495754104540605]
  大規模言語モデル(LLM)は、視覚的推論のような複雑な推論タスクのためのコードライクな計画を生成することができる。 ワンストップ推論 (fast) とツリー・オブ・シント (slow) を統合した階層型計画探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-18T16:21:40Z)
• Searching for More Efficient Dynamic Programs [61.79535031840558]
  本稿では,プログラム変換の集合,変換プログラムの効率を評価するための単純な指標,およびこの指標を改善するための探索手順について述べる。 実際に、自動検索は初期プログラムの大幅な改善を見出すことができることを示す。
  論文  参考訳（メタデータ） (2021-09-14T20:52:55Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。