Fugu-MT 論文翻訳(概要): Evolution of Heuristics: Towards Efficient Automatic Algorithm Design Using Large Language Mode

論文の概要: Evolution of Heuristics: Towards Efficient Automatic Algorithm Design Using Large Language Mode

arxiv url: http://arxiv.org/abs/2401.02051v2
Date: Wed, 1 May 2024 12:33:37 GMT
ステータス: 処理完了
システム内更新日: 2024-05-02 20:01:24.528737
Title: Evolution of Heuristics: Towards Efficient Automatic Algorithm Design Using Large Language Mode
Title（参考訳）: ヒューリスティックスの進化:大規模言語モードを用いた効率的な自動アルゴリズム設計を目指して
Authors: Fei Liu, Xialiang Tong, Mingxuan Yuan, Xi Lin, Fu Luo, Zhenkun Wang, Zhichao Lu, Qingfu Zhang,
Abstract要約: 本稿では,進化進化(EoH)を紹介する。 EoHは、Large Language Models (LLMs) によって生成された思考と呼ばれる記述を通して考えを表現する。進化的フレームワークにおける思考とコードの共進化は、優れた自動ヒューリスティックデザイン(AHD)のパフォーマンスを提供する。
参考スコア（独自算出の注目度）: 22.64392837434924
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Heuristics are indispensable for tackling complex search and optimization problems. However, manual heuristic design is tedious and demands significant human intuition and experience. This paper introduces Evolution of Heuristic (EoH), a novel paradigm that leverages the synergy between Large Language Models (LLMs) and Evolutionary Computation (EC) for Automatic Heuristic Design (AHD). EoH represents heuristic ideas through linguistic descriptions, termed thoughts, generated by LLMs, which are then translated into executable code representations. The coevolution of thoughts and codes within an evolutionary framework offers superior AHD performance while mitigating computational expenses. Comprehensive evaluations on three types of combinatorial optimization benchmarks demonstrate EoH's outperformance against existing AHD methods. Notably, EoH surpasses FunSearch, a concurrent work focus on code evolution, identifying superior heuristics with significantly fewer computational budgets (i.e., queries to LLMs) on online bin packing problem. To foster reproducibility and accessibility, the source code is https://github.com/FeiLiu36/EoH.
Abstract（参考訳）: ヒューリスティックスは複雑な探索と最適化の問題に取り組むのに不可欠である。しかし、手動のヒューリスティックデザインは退屈で、人間の直感と経験がかなり必要である。本稿では,Large Language Models(LLM)とEvolutionary Computation(EC)による自動ヒューリスティックデザイン(AHD)の相乗効果を利用した新しいパラダイムであるEoHを紹介する。 EoHは言語記述を通じてヒューリスティックな考えを表し、LLMによって生成された思考と呼ばれ、それが実行可能コード表現に変換される。進化的フレームワークにおける思考とコードの共進化は、計算コストを軽減しつつ、優れたAHDパフォーマンスを提供する。 3種類の組合せ最適化ベンチマークの総合的な評価は、既存のAHD法に対するEoHの業績を実証している。特に、EoHはFunSearchを抜いてコードの進化に重点を置いており、オンラインのビンパッキング問題において計算予算(LLMへのクエリ)が著しく少ない優れたヒューリスティックを識別している。再現性とアクセシビリティを向上させるため、ソースコードはhttps://github.com/FeiLiu36/EoHである。

関連論文リスト

CodeXEmbed: A Generalist Embedding Model Family for Multiligual and Multi-task Code Retrieval [103.116634967815]
CodeXEmbedは400Mから7Bパラメータの大規模なコード埋め込みモデルのファミリーである。我々の新しいトレーニングパイプラインは、複数のプログラミング言語を統合し、様々なコード関連タスクを共通の検索フレームワークに変換する。私たちの7Bモデルは、コード検索において新しい最先端(SOTA)を設定し、以前の主要なモデルであるVoyage-CodeをCoIRベンチマークで20%以上上回っています。
論文参考訳（メタデータ） (2024-11-19T16:54:45Z)
Automatic programming via large language models with population self-evolution for dynamic job shop scheduling problem [12.535474591707105]
本稿では,人間専門家の自己回帰的デザイン戦略に触発された一般検索フレームワークである,新規な自己進化的手法を提案する。実験の結果,提案手法はGP, GEP, エンドツーエンドの深層強化学習法よりも優れていることがわかった。
論文参考訳（メタデータ） (2024-10-30T02:54:31Z)
Multi-objective Evolution of Heuristic Using Large Language Model [29.337470185034555]
ヒューリスティックスは、様々な探索と最適化の問題に取り組むために一般的に用いられる。最近の研究は、その強力な言語と符号化能力を活用して、大規模言語モデル(LLM)を自動検索に取り入れている。本稿では,多目的最適化問題として探索をモデル化し,最適性能以外の実践的基準を導入することを提案する。
論文参考訳（メタデータ） (2024-09-25T12:32:41Z)
PhaseEvo: Towards Unified In-Context Prompt Optimization for Large Language Models [9.362082187605356]
本稿では、LLMの生成能力と進化アルゴリズムのグローバル検索能力を組み合わせた効率的な自動プロンプト最適化フレームワークであるPhaseEvoについて述べる。 PhaseEvoは、優れた効率を維持しながら、最先端のベースライン手法を大きなマージンで大幅に上回っている。
論文参考訳（メタデータ） (2024-02-17T17:47:10Z)
Guided Evolution with Binary Discriminators for ML Program Search [64.44893463120584]
プログラムのペアがどのプログラムの方が優れているかを識別するために、オンラインで訓練された二項判別器による指導進化を提案する。本稿では,MLの記号探索における3.7倍の高速化,RL損失関数の4倍の高速化など,様々な問題に対する進化の高速化を実証する。
論文参考訳（メタデータ） (2024-02-08T16:59:24Z)
ReEvo: Large Language Models as Hyper-Heuristics with Reflective Evolution [35.39046514910755]
本稿では,言語ハイパーヒューリスティックス(LHHs)について紹介する。 LHHを効果的に探索するための進化探索(ReEvo)と、空間内の言語的勾配を提供する反射の新たな統合である。
論文参考訳（メタデータ） (2024-02-02T05:04:51Z)
Algorithm Evolution Using Large Language Model [18.03090066194074]
大規模言語モデル(AEL)を用いた進化的アルゴリズムを提案する。 AELはモデルトレーニングなしでアルゴリズムレベルの進化を行う。人間の努力とドメイン知識の要求は大幅に削減できる。
論文参考訳（メタデータ） (2023-11-26T09:38:44Z)
Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers [70.18534453485849]
EvoPromptは離散的なプロンプト最適化のためのフレームワークである。進化的アルゴリズム(EA)の概念は、優れた性能と高速収束を示すものである。人為的なプロンプトと既存の方法で自動プロンプト生成を著しく上回っている。
論文参考訳（メタデータ） (2023-09-15T16:50:09Z)
When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
論文参考訳（メタデータ） (2023-08-29T17:22:39Z)
Searching for More Efficient Dynamic Programs [61.79535031840558]
本稿では,プログラム変換の集合,変換プログラムの効率を評価するための単純な指標,およびこの指標を改善するための探索手順について述べる。実際に、自動検索は初期プログラムの大幅な改善を見出すことができることを示す。
論文参考訳（メタデータ） (2021-09-14T20:52:55Z)
Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-01-07T08:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。