論文の概要: ReEvo: Large Language Models as Hyper-Heuristics with Reflective
Evolution
- arxiv url: http://arxiv.org/abs/2402.01145v1
- Date: Fri, 2 Feb 2024 05:04:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 16:51:04.421417
- Title: ReEvo: Large Language Models as Hyper-Heuristics with Reflective
Evolution
- Title(参考訳): reevo: 反射的進化を伴う超ヒューリスティックな大規模言語モデル
- Authors: Haoran Ye, Jiarui Wang, Zhiguang Cao, Guojie Song
- Abstract要約: 本稿では,LHH(Language Hyper-Heuristics)を提案する。
リフレクティブ・エボ(Relective Evolution, ReEvo)は、人間の専門家のリフレクティブ・デザイン・アプローチを模倣した汎用的な検索フレームワークである。
- 参考スコア(独自算出の注目度): 30.08162649222857
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The omnipresence of NP-hard combinatorial optimization problems (COPs)
compels domain experts to engage in trial-and-error heuristic design process.
The long-standing endeavor of design automation has gained new momentum with
the rise of large language models (LLMs). This paper introduces Language
Hyper-Heuristics (LHHs), an emerging variant of Hyper-Heuristics that leverages
LLMs for heuristic generation, featuring minimal manual intervention and
open-ended heuristic spaces. To empower LHHs, we present Reflective Evolution
(ReEvo), a generic searching framework that emulates the reflective design
approach of human experts while far surpassing human capabilities with its
scalable LLM inference, Internet-scale domain knowledge, and powerful
evolutionary search. Evaluations across 12 COP settings show that 1) verbal
reflections for evolution lead to smoother fitness landscapes, explicit
inference of black-box COP settings, and better search results; 2) heuristics
generated by ReEvo in minutes can outperform state-of-the-art human designs and
neural solvers; 3) LHHs enable efficient algorithm design automation even when
challenged with black-box COPs, demonstrating its potential for complex and
novel real-world applications. Our code is available:
https://github.com/ai4co/LLM-as-HH.
- Abstract(参考訳): NP-hard combinatorial optimization problem (COP) の完全解釈は、ドメインの専門家をトライアル・アンド・エラー・ヒューリスティックな設計プロセスに参加させる。
設計自動化の長年の取り組みは、大きな言語モデル(LLM)の台頭とともに、新たな勢いを増している。
本稿では,LHH(Language Hyper-Heuristics)を提案する。LHH(Language Hyper-Heuristics)は,LLMをヒューリスティック生成に活用し,最小限の手動介入とオープンエンドヒューリスティック空間を特徴とする。
スケーラブルなllm推論、インターネットスケールのドメイン知識、強力な進化的検索によって人間の能力をはるかに超えつつ、人間の専門家の反射的設計アプローチを模倣する汎用的な検索フレームワークであるreflectionive evolution (reevo)を提案する。
12個のCOP設定で評価すると
1) 進化のための言語反射は、よりスムーズなフィットネスランドスケープ、ブラックボックスCOP設定の明示的な推測、検索結果の改善につながる。
2) ReEvo が数分で生成したヒューリスティックスは,最先端の人間設計やニューラルソルバより優れる。
3) LHHはブラックボックスCOPに挑戦しても効率的なアルゴリズム設計自動化を実現し, 複雑で斬新な実世界の応用の可能性を示した。
コードはhttps://github.com/ai4co/llm-as-hh。
関連論文リスト
- A Survey on Self-Evolution of Large Language Models [116.54238664264928]
大規模言語モデル(LLM)は、様々な分野やインテリジェントエージェントアプリケーションにおいて大きく進歩している。
この問題に対処するために、LLMが自律的に獲得し、洗練し、モデル自身によって生成された経験から学ぶことができる自己進化的アプローチが急速に成長している。
論文 参考訳(メタデータ) (2024-04-22T17:43:23Z) - Generation Meets Verification: Accelerating Large Language Model Inference with Smart Parallel Auto-Correct Decoding [11.832919020149891]
本研究の目的は,数十億のパラメータを持つ大規模言語モデル(LLM)の推論速度を高速化することである。
textbfSmart textbfParallel textbfAuto-textbfCorrect dtextbfEcoding (SPACE)を提案する。
論文 参考訳(メタデータ) (2024-02-19T03:39:10Z) - A match made in consistency heaven: when large language models meet
evolutionary algorithms [51.087936554483804]
事前訓練された大規模言語モデル(LLM)は、創造的な自然言語を生成する強力な能力を持つ。
進化的アルゴリズム(EA)は、複雑な現実世界の問題に対する多様な解決策を発見できる。
テキストシーケンスの生成と進化の共通の集合性と方向性に動機づけられた本論文は,LLMとEAの強い一貫性を示す。
論文 参考訳(メタデータ) (2024-01-19T05:58:30Z) - Evolution of Heuristics: Towards Efficient Automatic Algorithm Design Using Large Language Mode [22.64392837434924]
本稿では,進化進化(EoH)を紹介する。
EoHは、Large Language Models (LLMs) によって生成された思考と呼ばれる記述を通して考えを表現する。
進化的フレームワークにおける思考とコードの共進化は、優れた自動ヒューリスティックデザイン(AHD)のパフォーマンスを提供する。
論文 参考訳(メタデータ) (2024-01-04T04:11:59Z) - MacGyver: Are Large Language Models Creative Problem Solvers? [87.70522322728581]
本稿では, 現代LLMの創造的問題解決能力について, 制約付き環境下で検討する。
我々は1,600以上の実世界の問題からなる自動生成データセットであるMACGYVERを作成する。
我々はLLMと人間の両方にコレクションを提示し、それらの問題解決能力を比較して比較する。
論文 参考訳(メタデータ) (2023-11-16T08:52:27Z) - Octopus: Embodied Vision-Language Programmer from Environmental Feedback [59.772904419928054]
大規模視覚言語モデル (VLM) はマルチモーダル認識と推論において大きな進歩を遂げた。
本稿では,エージェントの視覚とテキストタスクの目的を正確に解読する新しいVLMであるOctopusを紹介する。
我々の設計では、シミュレーターの日常的な雑用から複雑なビデオゲームの高度なインタラクションまで、エージェントは幅広いタスクを十分に扱えるようにしている。
論文 参考訳(メタデータ) (2023-10-12T17:59:58Z) - Making LLaMA SEE and Draw with SEED Tokenizer [69.1083058794092]
大規模言語モデルにSEEとDrawの能力を持たせるための精巧な画像トークンであるSEEDを紹介します。
SEEDトークンを使うことで、LLMはオリジナルのトレーニングレシピの下でスケーラブルなマルチモーダルオートレグレスを実行することができる。
SEED-LLaMAはマルチターン・イン・コンテクスト・マルチモーダル生成のような合成創発的能力を示す。
論文 参考訳(メタデータ) (2023-10-02T14:03:02Z) - Connecting Large Language Models with Evolutionary Algorithms Yields
Powerful Prompt Optimizers [70.18534453485849]
EvoPromptは離散的なプロンプト最適化のためのフレームワークである。
進化的アルゴリズム(EA)の概念は、優れた性能と高速収束を示すものである。
人為的なプロンプトと既存の方法で自動プロンプト生成を著しく上回っている。
論文 参考訳(メタデータ) (2023-09-15T16:50:09Z) - EvoPrompting: Language Models for Code-Level Neural Architecture Search [21.759268833999627]
進化的ニューラルアーキテクチャ探索アルゴリズムにおける適応突然変異とクロスオーバー演算子としての言語モデル(LM)の利用について検討する。
EvoPromptingと呼ばれる手法であるソフトプロンプトチューニングと進化的プロンプトエンジニアリングの組み合わせは、常に多様かつ高性能なモデルを見つける。
論文 参考訳(メタデータ) (2023-02-28T18:37:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。