論文の概要: Algorithm Evolution Using Large Language Model
- arxiv url: http://arxiv.org/abs/2311.15249v1
- Date: Sun, 26 Nov 2023 09:38:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 18:32:00.617827
- Title: Algorithm Evolution Using Large Language Model
- Title(参考訳): 大規模言語モデルを用いたアルゴリズム進化
- Authors: Fei Liu, Xialiang Tong, Mingxuan Yuan and Qingfu Zhang
- Abstract要約: 大規模言語モデル(AEL)を用いた進化的アルゴリズムを提案する。
AELはモデルトレーニングなしでアルゴリズムレベルの進化を行う。
人間の努力とドメイン知識の要求は大幅に削減できる。
- 参考スコア(独自算出の注目度): 18.03090066194074
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optimization can be found in many real-life applications. Designing an
effective algorithm for a specific optimization problem typically requires a
tedious amount of effort from human experts with domain knowledge and algorithm
design skills. In this paper, we propose a novel approach called Algorithm
Evolution using Large Language Model (AEL). It utilizes a large language model
(LLM) to automatically generate optimization algorithms via an evolutionary
framework. AEL does algorithm-level evolution without model training. Human
effort and requirements for domain knowledge can be significantly reduced. We
take constructive methods for the salesman traveling problem as a test example,
we show that the constructive algorithm obtained by AEL outperforms simple
hand-crafted and LLM-generated heuristics. Compared with other domain deep
learning model-based algorithms, these methods exhibit excellent scalability
across different problem sizes. AEL is also very different from previous
attempts that utilize LLMs as search operators in algorithms.
- Abstract(参考訳): 最適化は多くの現実のアプリケーションで見られます。
特定の最適化問題に対して効果的なアルゴリズムを設計するには、ドメイン知識とアルゴリズム設計スキルを持つ人間の専門家による退屈な努力が必要となる。
本稿では,大規模言語モデル(AEL)を用いたアルゴリズム進化という新しい手法を提案する。
大規模な言語モデル(LLM)を使用して、進化的フレームワークを通じて最適化アルゴリズムを自動生成する。
AELはモデルトレーニングなしでアルゴリズムレベルの進化を行う。
人間の努力とドメイン知識の要求は大幅に削減できる。
本研究では, AEL による構成的アルゴリズムは, 単純な手作りと LLM 生成のヒューリスティックよりも優れていることを示す。
他のドメイン深層学習モデルベースアルゴリズムと比較して、これらの手法は様々な問題サイズにまたがる優れたスケーラビリティを示す。
AELはまた、アルゴリズムの探索演算子としてLLMを使用した以前の試みとは大きく異なる。
関連論文リスト
- Large Language Model-Enhanced Algorithm Selection: Towards Comprehensive
Algorithm Representation [29.37257570009215]
本稿では,アルゴリズム選択プロセスにアルゴリズム表現を統合するアプローチを提案する。
特に,提案モデルでは,問題とアルゴリズムの両方の表現を抽出するために,異なるモジュールを用いる。
アルゴリズムと問題の両方に対する埋め込みベクトルの抽出に続いて、最も適切なアルゴリズムは一致する次数の計算によって決定される。
論文 参考訳(メタデータ) (2023-11-22T06:23:18Z) - Algorithm of Thoughts: Enhancing Exploration of Ideas in Large Language
Models [18.302024623742533]
本稿では,アルゴリズム的推論経路を通じて大規模言語モデルを促進する新しい手法を提案する。
この結果から,LLMをアルゴリズムを用いて指導すると,アルゴリズム自体よりも性能が向上する可能性が示唆された。
論文 参考訳(メタデータ) (2023-08-20T22:36:23Z) - Stochastic Ratios Tracking Algorithm for Large Scale Machine Learning
Problems [0.7614628596146599]
古典的なSGDフレームワークにおける適応的なステップ長選択のための新しいアルゴリズムを提案する。
妥当な条件下では、アルゴリズムは十分に確立された理論的な要件に従ってステップ長を生成する。
このアルゴリズムは,手動チューニングから得られる最良ステップ長に匹敵するステップ長を生成することができることを示す。
論文 参考訳(メタデータ) (2023-05-17T06:22:11Z) - Introductory Studies of Swarm Intelligence Techniques [1.2930503923129208]
群れ知能は、個体の集団的研究と、群れの知的行動につながる相互相互作用を含む。
この章では、様々な人口ベースのSIアルゴリズム、基本構造、数学的モデルについて紹介している。
論文 参考訳(メタデータ) (2022-09-26T16:29:55Z) - Neural Combinatorial Optimization: a New Player in the Field [69.23334811890919]
本稿では,ニューラルネットワークに基づくアルゴリズムの古典的最適化フレームワークへの導入に関する批判的分析を行う。
性能, 転送可能性, 計算コスト, 大規模インスタンスなど, これらのアルゴリズムの基本的側面を分析するために, 総合的研究を行った。
論文 参考訳(メタデータ) (2022-05-03T07:54:56Z) - ES-Based Jacobian Enables Faster Bilevel Optimization [53.675623215542515]
バイレベル最適化(BO)は多くの現代の機械学習問題を解決する強力なツールとして生まれてきた。
既存の勾配法では、ヤコビアンあるいはヘッセンベクトル計算による二階微分近似が必要となる。
本稿では,進化戦略(ES)に基づく新しいBOアルゴリズムを提案し,BOの過勾配における応答ヤコビ行列を近似する。
論文 参考訳(メタデータ) (2021-10-13T19:36:50Z) - An Overview and Experimental Study of Learning-based Optimization
Algorithms for Vehicle Routing Problem [49.04543375851723]
車両ルーティング問題(VRP)は典型的な離散最適化問題である。
多くの研究は、VRPを解決するための学習に基づく最適化アルゴリズムについて検討している。
本稿では、最近のこの分野の進歩を概観し、関連するアプローチをエンドツーエンドアプローチとステップバイステップアプローチに分割する。
論文 参考訳(メタデータ) (2021-07-15T02:13:03Z) - Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。
学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。
従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文 参考訳(メタデータ) (2021-01-08T18:55:07Z) - Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。
問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。
本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-01-07T08:00:02Z) - AdaLead: A simple and robust adaptive greedy search algorithm for
sequence design [55.41644538483948]
我々は、容易で、拡張性があり、堅牢な進化的欲求アルゴリズム(AdaLead)を開発した。
AdaLeadは、様々な生物学的に動機づけられたシーケンスデザインの課題において、アートアプローチのより複雑な状態を克服する、驚くほど強力なベンチマークである。
論文 参考訳(メタデータ) (2020-10-05T16:40:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。