論文の概要: ReEvo: Large Language Models as Hyper-Heuristics with Reflective Evolution

• arxiv url: http://arxiv.org/abs/2402.01145v1
• Date: Fri, 2 Feb 2024 05:04:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-02-05 16:51:04.421417
• Title: ReEvo: Large Language Models as Hyper-Heuristics with Reflective Evolution
• Title（参考訳）: reevo: 反射的進化を伴う超ヒューリスティックな大規模言語モデル
• Authors: Haoran Ye, Jiarui Wang, Zhiguang Cao, Guojie Song
• Abstract要約: 本稿では,LHH(Language Hyper-Heuristics)を提案する。 リフレクティブ・エボ(Relective Evolution, ReEvo)は、人間の専門家のリフレクティブ・デザイン・アプローチを模倣した汎用的な検索フレームワークである。
• 参考スコア（独自算出の注目度）: 30.08162649222857
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The omnipresence of NP-hard combinatorial optimization problems (COPs) compels domain experts to engage in trial-and-error heuristic design process. The long-standing endeavor of design automation has gained new momentum with the rise of large language models (LLMs). This paper introduces Language Hyper-Heuristics (LHHs), an emerging variant of Hyper-Heuristics that leverages LLMs for heuristic generation, featuring minimal manual intervention and open-ended heuristic spaces. To empower LHHs, we present Reflective Evolution (ReEvo), a generic searching framework that emulates the reflective design approach of human experts while far surpassing human capabilities with its scalable LLM inference, Internet-scale domain knowledge, and powerful evolutionary search. Evaluations across 12 COP settings show that 1) verbal reflections for evolution lead to smoother fitness landscapes, explicit inference of black-box COP settings, and better search results; 2) heuristics generated by ReEvo in minutes can outperform state-of-the-art human designs and neural solvers; 3) LHHs enable efficient algorithm design automation even when challenged with black-box COPs, demonstrating its potential for complex and novel real-world applications. Our code is available: https://github.com/ai4co/LLM-as-HH.
• Abstract（参考訳）: NP-hard combinatorial optimization problem (COP) の完全解釈は、ドメインの専門家をトライアル・アンド・エラー・ヒューリスティックな設計プロセスに参加させる。 設計自動化の長年の取り組みは、大きな言語モデル(LLM)の台頭とともに、新たな勢いを増している。 本稿では,LHH(Language Hyper-Heuristics)を提案する。LHH(Language Hyper-Heuristics)は,LLMをヒューリスティック生成に活用し,最小限の手動介入とオープンエンドヒューリスティック空間を特徴とする。 スケーラブルなllm推論、インターネットスケールのドメイン知識、強力な進化的検索によって人間の能力をはるかに超えつつ、人間の専門家の反射的設計アプローチを模倣する汎用的な検索フレームワークであるreflectionive evolution (reevo)を提案する。 12個のCOP設定で評価すると 1) 進化のための言語反射は、よりスムーズなフィットネスランドスケープ、ブラックボックスCOP設定の明示的な推測、検索結果の改善につながる。 2) ReEvo が数分で生成したヒューリスティックスは,最先端の人間設計やニューラルソルバより優れる。 3) LHHはブラックボックスCOPに挑戦しても効率的なアルゴリズム設計自動化を実現し, 複雑で斬新な実世界の応用の可能性を示した。 コードはhttps://github.com/ai4co/llm-as-hh。

関連論文リスト

• Embodied-R: Collaborative Framework for Activating Embodied Spatial Reasoning in Foundation Models via Reinforcement Learning [58.86928947970342]
  Embodied-Rは、知覚のための大規模視覚言語モデルと推論のための小規模言語モデルを組み合わせたフレームワークである。 わずか5kのエボダイドビデオサンプルのトレーニングの後、Embodied-Rと3B LMは最先端のマルチモーダル推論モデルと一致した。 Embodied-Rは、体系的分析や文脈統合のような創発的な思考パターンも示している。
  論文  参考訳（メタデータ） (2025-04-17T06:16:11Z)
• A Survey on Post-training of Large Language Models [185.51013463503946]
  大規模言語モデル(LLM)は、自然言語処理を根本的に変革し、会話システムから科学的探索まで、さまざまな領域で欠かせないものにしている。 これらの課題は、制限された推論能力、倫理的不確実性、最適なドメイン固有のパフォーマンスといった欠点に対処するために、先進的な訓練後言語モデル(PoLM)を必要とする。 本稿では,5つのコアパラダイムにまたがるPoLMの進化を体系的に追跡する,最初の包括的調査について述べる。
  論文  参考訳（メタデータ） (2025-03-08T05:41:42Z)
• Leveraging Large Language Models to Develop Heuristics for Emerging Optimization Problems [0.0]
  組合せ最適化問題は、しばしば効率的な解を生成するアルゴリズムに依存する。 人工知能の最近の進歩は、進化の枠組みを通じて生成を自動化する可能性を実証している。 本研究では,問題固有の記述を組み込んだコンテキスト進化型ヒューリスティックスフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-05T10:22:49Z)
• HSEvo: Elevating Automatic Heuristic Design with Diversity-Driven Harmony Search and Genetic Algorithm Using LLMs [7.04316974339151]
  ヒューリスティック・デザインは、複雑な探索とNP-ハード最適化の問題を解くのに有用であることから、活発な研究分野である。 適応型LLM-EPSフレームワークであるHSEvoを導入する。
  論文  参考訳（メタデータ） (2024-12-19T16:07:00Z)
• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Multi-objective Evolution of Heuristic Using Large Language Model [29.337470185034555]
  ヒューリスティックスは、様々な探索と最適化の問題に取り組むために一般的に用いられる。 最近の研究は、その強力な言語と符号化能力を活用して、大規模言語モデル(LLM)を自動検索に取り入れている。 本稿では,多目的最適化問題として探索をモデル化し,最適性能以外の実践的基準を導入することを提案する。
  論文  参考訳（メタデータ） (2024-09-25T12:32:41Z)
• Understanding the Importance of Evolutionary Search in Automated Heuristic Design with Large Language Models [24.447539327343563]
  自動設計(AHD)は、有効物の開発を自動化する可能性についてかなりの注目を集めている。 近年の大規模言語モデル(LLM)の出現は、進化的プログラム探索問題としてのAHDのフレーミングに焦点をあてて、AHDの新しい道を開いた。
  論文  参考訳（メタデータ） (2024-07-15T16:21:20Z)
• Generation Meets Verification: Accelerating Large Language Model Inference with Smart Parallel Auto-Correct Decoding [11.832919020149891]
  本研究の目的は,数十億のパラメータを持つ大規模言語モデル(LLM)の推論速度を高速化することである。 textbfSmart textbfParallel textbfAuto-textbfCorrect dtextbfEcoding (SPACE)を提案する。
  論文  参考訳（メタデータ） (2024-02-19T03:39:10Z)
• When large language models meet evolutionary algorithms [48.213640761641926]
  事前訓練された大規模言語モデル(LLM)は、創造的な自然言語を生成する強力な能力を持つ。 進化的アルゴリズム(EA)は、複雑な現実世界の問題に対する多様な解決策を発見できる。 テキスト生成と進化の共通する集合性と方向性に動機づけられた本論文では,LLMとEAの並列性について述べる。
  論文  参考訳（メタデータ） (2024-01-19T05:58:30Z)
• Evolution of Heuristics: Towards Efficient Automatic Algorithm Design Using Large Language Model [22.64392837434924]
  EoHは自然言語における思考の考えを表しており、これは「思考」と呼ばれている。 それらはLarge Language Models (LLM) によって実行可能なコードに変換される。 EoHは、オンラインのビンパッキング問題に対して、広く使われている人手作りのベースラインアルゴリズムを著しく上回っている。
  論文  参考訳（メタデータ） (2024-01-04T04:11:59Z)
• Making LLaMA SEE and Draw with SEED Tokenizer [69.1083058794092]
  大規模言語モデルにSEEとDrawの能力を持たせるための精巧な画像トークンであるSEEDを紹介します。 SEEDトークンを使うことで、LLMはオリジナルのトレーニングレシピの下でスケーラブルなマルチモーダルオートレグレスを実行することができる。 SEED-LLaMAはマルチターン・イン・コンテクスト・マルチモーダル生成のような合成創発的能力を示す。
  論文  参考訳（メタデータ） (2023-10-02T14:03:02Z)
• Corex: Pushing the Boundaries of Complex Reasoning through Multi-Model Collaboration [83.4031923134958]
  Corexは,大規模言語モデルを自律エージェントに変換する,新たな汎用戦略スイートだ。 人間の振る舞いにインスパイアされたCorexは、Debate、Review、Retrieveモードといった多様なコラボレーションパラダイムによって構成されている。 我々は,複数のLDMを協調的に演奏することで,既存の手法に比べて性能が著しく向上することが実証された。
  論文  参考訳（メタデータ） (2023-09-30T07:11:39Z)
• Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers [70.18534453485849]
  EvoPromptは離散的なプロンプト最適化のためのフレームワークである。 進化的アルゴリズム(EA)の概念は、優れた性能と高速収束を示すものである。 人為的なプロンプトと既存の方法で自動プロンプト生成を著しく上回っている。
  論文  参考訳（メタデータ） (2023-09-15T16:50:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。