論文の概要: ReEvo: Large Language Models as Hyper-Heuristics with Reflective Evolution

• arxiv url: http://arxiv.org/abs/2402.01145v1
• Date: Fri, 2 Feb 2024 05:04:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 16:51:04.421417
• Title: ReEvo: Large Language Models as Hyper-Heuristics with Reflective Evolution
• Title（参考訳）: reevo: 反射的進化を伴う超ヒューリスティックな大規模言語モデル
• Authors: Haoran Ye, Jiarui Wang, Zhiguang Cao, Guojie Song
• Abstract要約: 本稿では,LHH(Language Hyper-Heuristics)を提案する。 リフレクティブ・エボ(Relective Evolution, ReEvo)は、人間の専門家のリフレクティブ・デザイン・アプローチを模倣した汎用的な検索フレームワークである。
• 参考スコア（独自算出の注目度）: 30.08162649222857
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The omnipresence of NP-hard combinatorial optimization problems (COPs) compels domain experts to engage in trial-and-error heuristic design process. The long-standing endeavor of design automation has gained new momentum with the rise of large language models (LLMs). This paper introduces Language Hyper-Heuristics (LHHs), an emerging variant of Hyper-Heuristics that leverages LLMs for heuristic generation, featuring minimal manual intervention and open-ended heuristic spaces. To empower LHHs, we present Reflective Evolution (ReEvo), a generic searching framework that emulates the reflective design approach of human experts while far surpassing human capabilities with its scalable LLM inference, Internet-scale domain knowledge, and powerful evolutionary search. Evaluations across 12 COP settings show that 1) verbal reflections for evolution lead to smoother fitness landscapes, explicit inference of black-box COP settings, and better search results; 2) heuristics generated by ReEvo in minutes can outperform state-of-the-art human designs and neural solvers; 3) LHHs enable efficient algorithm design automation even when challenged with black-box COPs, demonstrating its potential for complex and novel real-world applications. Our code is available: https://github.com/ai4co/LLM-as-HH.
• Abstract（参考訳）: NP-hard combinatorial optimization problem (COP) の完全解釈は、ドメインの専門家をトライアル・アンド・エラー・ヒューリスティックな設計プロセスに参加させる。 設計自動化の長年の取り組みは、大きな言語モデル(LLM)の台頭とともに、新たな勢いを増している。 本稿では,LHH(Language Hyper-Heuristics)を提案する。LHH(Language Hyper-Heuristics)は,LLMをヒューリスティック生成に活用し,最小限の手動介入とオープンエンドヒューリスティック空間を特徴とする。 スケーラブルなllm推論、インターネットスケールのドメイン知識、強力な進化的検索によって人間の能力をはるかに超えつつ、人間の専門家の反射的設計アプローチを模倣する汎用的な検索フレームワークであるreflectionive evolution (reevo)を提案する。 12個のCOP設定で評価すると 1) 進化のための言語反射は、よりスムーズなフィットネスランドスケープ、ブラックボックスCOP設定の明示的な推測、検索結果の改善につながる。 2) ReEvo が数分で生成したヒューリスティックスは,最先端の人間設計やニューラルソルバより優れる。 3) LHHはブラックボックスCOPに挑戦しても効率的なアルゴリズム設計自動化を実現し, 複雑で斬新な実世界の応用の可能性を示した。 コードはhttps://github.com/ai4co/llm-as-hh。

関連論文リスト

• Think More, Hallucinate Less: Mitigating Hallucinations via Dual Process of Fast and Slow Thinking [124.69672273754144]
  HaluSearchは、ツリー検索ベースのアルゴリズムを組み込んだ新しいフレームワークである。 テキスト生成をステップバイステップの推論プロセスとしてフレーム化する。 認知科学における二重プロセス理論に着想を得た階層的思考システムスイッチ機構を導入する。
  論文  参考訳（メタデータ） (2025-01-02T15:36:50Z)
• HSEvo: Elevating Automatic Heuristic Design with Diversity-Driven Harmony Search and Genetic Algorithm Using LLMs [7.04316974339151]
  ヒューリスティック・デザインは、複雑な探索とNP-ハード最適化の問題を解くのに有用であることから、活発な研究分野である。 適応型LLM-EPSフレームワークであるHSEvoを導入する。
  論文  参考訳（メタデータ） (2024-12-19T16:07:00Z)
• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Multi-objective Evolution of Heuristic Using Large Language Model [29.337470185034555]
  探索を多目的最適化問題としてモデル化し、最適性能を超える追加の実践的基準を導入することを検討する。 我々は,最初の多目的探索フレームワークである多目的ヒューリスティック進化(MEoH)を提案する。
  論文  参考訳（メタデータ） (2024-09-25T12:32:41Z)
• Understanding the Importance of Evolutionary Search in Automated Heuristic Design with Large Language Models [24.447539327343563]
  自動設計(AHD)は、有効物の開発を自動化する可能性についてかなりの注目を集めている。 近年の大規模言語モデル(LLM)の出現は、進化的プログラム探索問題としてのAHDのフレーミングに焦点をあてて、AHDの新しい道を開いた。
  論文  参考訳（メタデータ） (2024-07-15T16:21:20Z)
• When large language models meet evolutionary algorithms [48.213640761641926]
  事前訓練された大規模言語モデル(LLM)は、創造的な自然言語を生成する強力な能力を持つ。 進化的アルゴリズム(EA)は、複雑な現実世界の問題に対する多様な解決策を発見できる。 テキスト生成と進化の共通する集合性と方向性に動機づけられた本論文では,LLMとEAの並列性について述べる。
  論文  参考訳（メタデータ） (2024-01-19T05:58:30Z)
• Evolution of Heuristics: Towards Efficient Automatic Algorithm Design Using Large Language Model [22.64392837434924]
  EoHは自然言語における思考の考えを表しており、これは「思考」と呼ばれている。 それらはLarge Language Models (LLM) によって実行可能なコードに変換される。 EoHは、オンラインのビンパッキング問題に対して、広く使われている人手作りのベースラインアルゴリズムを著しく上回っている。
  論文  参考訳（メタデータ） (2024-01-04T04:11:59Z)
• Making LLaMA SEE and Draw with SEED Tokenizer [69.1083058794092]
  大規模言語モデルにSEEとDrawの能力を持たせるための精巧な画像トークンであるSEEDを紹介します。 SEEDトークンを使うことで、LLMはオリジナルのトレーニングレシピの下でスケーラブルなマルチモーダルオートレグレスを実行することができる。 SEED-LLaMAはマルチターン・イン・コンテクスト・マルチモーダル生成のような合成創発的能力を示す。
  論文  参考訳（メタデータ） (2023-10-02T14:03:02Z)
• Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers [70.18534453485849]
  EvoPromptは離散的なプロンプト最適化のためのフレームワークである。 進化的アルゴリズム(EA)の概念は、優れた性能と高速収束を示すものである。 人為的なプロンプトと既存の方法で自動プロンプト生成を著しく上回っている。
  論文  参考訳（メタデータ） (2023-09-15T16:50:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。