論文の概要: Large Language Models as Hyper-Heuristics for Combinatorial Optimization

• arxiv url: http://arxiv.org/abs/2402.01145v2
• Date: Mon, 20 May 2024 05:53:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 23:30:28.554053
• Title: Large Language Models as Hyper-Heuristics for Combinatorial Optimization
• Title（参考訳）: 組合せ最適化のためのハイパーヒューリスティックスとしての大規模言語モデル
• Authors: Haoran Ye, Jiarui Wang, Zhiguang Cao, Federico Berto, Chuanbo Hua, Haeyeon Kim, Jinkyoo Park, Guojie Song,
• Abstract要約: 本稿では,言語ハイパーヒューリスティックス(LHHs)について紹介する。 本稿では、白空間を効率的に探索するための進化的探索と、空間内の言語的勾配を提供する反射の新たな統合であるReEvoについて述べる。
• 参考スコア（独自算出の注目度）: 35.39046514910755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The omnipresence of NP-hard combinatorial optimization problems (COPs) compels domain experts to engage in trial-and-error heuristic design. The long-standing endeavor of design automation has gained new momentum with the rise of large language models (LLMs). This paper introduces Language Hyper-Heuristics (LHHs), an emerging variant of Hyper-Heuristics that leverages LLMs for heuristic generation, featuring minimal manual intervention and open-ended heuristic spaces. To empower LHHs, we present Reflective Evolution (ReEvo), a novel integration of evolutionary search for efficiently exploring the heuristic space, and LLM reflections to provide verbal gradients within the space. Across five heterogeneous algorithmic types, six different COPs, and both white-box and black-box views of COPs, ReEvo yields state-of-the-art and competitive meta-heuristics, evolutionary algorithms, heuristics, and neural solvers, while being more sample-efficient than prior LHHs. Our code is available: https://github.com/ai4co/LLM-as-HH.
• Abstract（参考訳）: NP-hard combinatorial optimization problem (COP) の完全解釈は、ドメインの専門家をトライアル・アンド・エラー・ヒューリスティックな設計に駆り立てる。 設計自動化の長年の取り組みは、大きな言語モデル(LLM)の台頭とともに、新たな勢いを増している。 本稿では,LHH(Language Hyper-Heuristics)を提案する。LHH(Language Hyper-Heuristics)は,LLMをヒューリスティック生成に活用し,最小限の手動介入とオープンエンドヒューリスティック空間を特徴とする。 LHHを効果的に探索するための進化探索の新たな統合であるRelective Evolution(ReEvo)と、空間内の言語勾配を提供するLLMリフレクションを提案する。 5つの異種アルゴリズムタイプ、6つの異なるCOP、そして、COPのホワイトボックスとブラックボックスの両方のビューにおいて、ReEvoは最先端で競争的なメタヒューリスティック、進化アルゴリズム、ヒューリスティック、ニューラルソルバを出力し、従来のLHHよりもサンプル効率が高い。 私たちのコードは、https://github.com/ai4co/LLM-as-HH.comで利用可能です。

関連論文リスト

• Think More, Hallucinate Less: Mitigating Hallucinations via Dual Process of Fast and Slow Thinking [124.69672273754144]
  HaluSearchは、ツリー検索ベースのアルゴリズムを組み込んだ新しいフレームワークである。 テキスト生成をステップバイステップの推論プロセスとしてフレーム化する。 認知科学における二重プロセス理論に着想を得た階層的思考システムスイッチ機構を導入する。
  論文  参考訳（メタデータ） (2025-01-02T15:36:50Z)
• HSEvo: Elevating Automatic Heuristic Design with Diversity-Driven Harmony Search and Genetic Algorithm Using LLMs [7.04316974339151]
  ヒューリスティック・デザインは、複雑な探索とNP-ハード最適化の問題を解くのに有用であることから、活発な研究分野である。 適応型LLM-EPSフレームワークであるHSEvoを導入する。
  論文  参考訳（メタデータ） (2024-12-19T16:07:00Z)
• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Multi-objective Evolution of Heuristic Using Large Language Model [29.337470185034555]
  探索を多目的最適化問題としてモデル化し、最適性能を超える追加の実践的基準を導入することを検討する。 我々は,最初の多目的探索フレームワークである多目的ヒューリスティック進化(MEoH)を提案する。
  論文  参考訳（メタデータ） (2024-09-25T12:32:41Z)
• Understanding the Importance of Evolutionary Search in Automated Heuristic Design with Large Language Models [24.447539327343563]
  自動設計(AHD)は、有効物の開発を自動化する可能性についてかなりの注目を集めている。 近年の大規模言語モデル(LLM)の出現は、進化的プログラム探索問題としてのAHDのフレーミングに焦点をあてて、AHDの新しい道を開いた。
  論文  参考訳（メタデータ） (2024-07-15T16:21:20Z)
• When large language models meet evolutionary algorithms [48.213640761641926]
  事前訓練された大規模言語モデル(LLM)は、創造的な自然言語を生成する強力な能力を持つ。 進化的アルゴリズム(EA)は、複雑な現実世界の問題に対する多様な解決策を発見できる。 テキスト生成と進化の共通する集合性と方向性に動機づけられた本論文では,LLMとEAの並列性について述べる。
  論文  参考訳（メタデータ） (2024-01-19T05:58:30Z)
• Evolution of Heuristics: Towards Efficient Automatic Algorithm Design Using Large Language Model [22.64392837434924]
  EoHは自然言語における思考の考えを表しており、これは「思考」と呼ばれている。 それらはLarge Language Models (LLM) によって実行可能なコードに変換される。 EoHは、オンラインのビンパッキング問題に対して、広く使われている人手作りのベースラインアルゴリズムを著しく上回っている。
  論文  参考訳（メタデータ） (2024-01-04T04:11:59Z)
• Making LLaMA SEE and Draw with SEED Tokenizer [69.1083058794092]
  大規模言語モデルにSEEとDrawの能力を持たせるための精巧な画像トークンであるSEEDを紹介します。 SEEDトークンを使うことで、LLMはオリジナルのトレーニングレシピの下でスケーラブルなマルチモーダルオートレグレスを実行することができる。 SEED-LLaMAはマルチターン・イン・コンテクスト・マルチモーダル生成のような合成創発的能力を示す。
  論文  参考訳（メタデータ） (2023-10-02T14:03:02Z)
• Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers [70.18534453485849]
  EvoPromptは離散的なプロンプト最適化のためのフレームワークである。 進化的アルゴリズム(EA)の概念は、優れた性能と高速収束を示すものである。 人為的なプロンプトと既存の方法で自動プロンプト生成を著しく上回っている。
  論文  参考訳（メタデータ） (2023-09-15T16:50:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。