論文の概要: Multi-objective Evolution of Heuristic Using Large Language Model

• arxiv url: http://arxiv.org/abs/2409.16867v1
• Date: Wed, 25 Sep 2024 12:32:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 03:55:18.711916
• Title: Multi-objective Evolution of Heuristic Using Large Language Model
• Title（参考訳）: 大規模言語モデルを用いたヒューリスティックの多目的進化
• Authors: Shunyu Yao, Fei Liu, Xi Lin, Zhichao Lu, Zhenkun Wang, Qingfu Zhang,
• Abstract要約: ヒューリスティックスは、様々な探索と最適化の問題に取り組むために一般的に用いられる。 最近の研究は、その強力な言語と符号化能力を活用して、大規模言語モデル(LLM)を自動検索に取り入れている。 本稿では,多目的最適化問題として探索をモデル化し,最適性能以外の実践的基準を導入することを提案する。
• 参考スコア（独自算出の注目度）: 29.337470185034555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Heuristics are commonly used to tackle diverse search and optimization problems. Design heuristics usually require tedious manual crafting with domain knowledge. Recent works have incorporated large language models (LLMs) into automatic heuristic search leveraging their powerful language and coding capacity. However, existing research focuses on the optimal performance on the target problem as the sole objective, neglecting other criteria such as efficiency and scalability, which are vital in practice. To tackle this challenge, we propose to model heuristic search as a multi-objective optimization problem and consider introducing other practical criteria beyond optimal performance. Due to the complexity of the search space, conventional multi-objective optimization methods struggle to effectively handle multi-objective heuristic search. We propose the first LLM-based multi-objective heuristic search framework, Multi-objective Evolution of Heuristic (MEoH), which integrates LLMs in a zero-shot manner to generate a non-dominated set of heuristics to meet multiple design criteria. We design a new dominance-dissimilarity mechanism for effective population management and selection, which incorporates both code dissimilarity in the search space and dominance in the objective space. MEoH is demonstrated in two well-known combinatorial optimization problems: the online Bin Packing Problem (BPP) and the Traveling Salesman Problem (TSP). Results indicate that a variety of elite heuristics are automatically generated in a single run, offering more trade-off options than existing methods. It successfully achieves competitive or superior performance while improving efficiency up to 10 times. Moreover, we also observe that the multi-objective search introduces novel insights into heuristic design and leads to the discovery of diverse heuristics.
• Abstract（参考訳）: ヒューリスティックスは、様々な探索と最適化の問題に取り組むために一般的に用いられる。 設計ヒューリスティックスは通常、ドメイン知識による退屈な手作業を必要とする。 近年,大規模言語モデル(LLM)を,その強力な言語と符号化能力を活用した自動ヒューリスティック検索に組み入れている。 しかし、既存の研究は、目標問題に対する最適性能を唯一の目的として重視しており、実際重要な効率性やスケーラビリティといった他の基準を無視している。 この課題に対処するため,多目的最適化問題としてヒューリスティック検索をモデル化し,最適性能以外の実践的基準を導入することを提案する。 探索空間の複雑さのため、従来の多目的最適化手法は多目的ヒューリスティック探索を効果的に扱うのに苦労する。 我々は,LLMをゼロショットで統合し,複数の設計基準を満たすために,非支配的なヒューリスティックセットを生成する,最初の多目的ヒューリスティック検索フレームワークであるMulti-Objective Heuristic(MEoH)を提案する。 我々は,検索空間におけるコード差分と目的空間におけるコード差分の両方を組み込んだ,効果的な人口管理と選択のための新しい支配差分機構を設計する。 MEoHは、オンラインバンドル問題(BPP)とトラベリングセールスマン問題(TSP)の2つのよく知られた組合せ最適化問題で実証されている。 結果は、様々なエリートヒューリスティックが1回の実行で自動的に生成され、既存の方法よりも多くのトレードオフオプションが提供されることを示している。 競争力や優れた性能を達成し、効率を最大10倍に向上させる。 さらに,多目的探索はヒューリスティックデザインの新たな洞察を導入し,多様なヒューリスティックの発見につながることも確認した。

関連論文リスト

• Deep Insights into Automated Optimization with Large Language Models and Evolutionary Algorithms [3.833708891059351]
  大きな言語モデル(LLM)と進化的アルゴリズム(EA)は、制限を克服し、最適化をより自動化するための有望な新しいアプローチを提供する。 LLMは最適化戦略の生成、洗練、解釈が可能な動的エージェントとして機能する。 EAは進化作用素を通して、複雑な解空間を効率的に探索する。
  論文  参考訳（メタデータ） (2024-10-28T09:04:49Z)
• Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。 通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。 本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:00:06Z)
• It's Morphing Time: Unleashing the Potential of Multiple LLMs via Multi-objective Optimization [16.54335356612006]
  モデルマージの目標は、複数のモデルを組み合わせることであり、それぞれが異なるタスクで優れており、個々のソースモデルよりも優れた1つのモデルにまとめることである。 既存の方法は人間の知識や直観に大きく依存している。 限られた評価において、優れたモデルマージ構成を得るのは難しいです。
  論文  参考訳（メタデータ） (2024-06-29T16:34:23Z)
• Meta Reasoning for Large Language Models [58.87183757029041]
  大規模言語モデル(LLM)の新規かつ効率的なシステムプロセッシング手法であるメタ推論プロンプト(MRP)を導入する。 MRPは、各タスクの特定の要求に基づいて異なる推論メソッドを動的に選択し、適用するようLLMに誘導する。 総合的なベンチマークによりMPPの有効性を評価する。
  論文  参考訳（メタデータ） (2024-06-17T16:14:11Z)
• Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
  大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• Evolution of Heuristics: Towards Efficient Automatic Algorithm Design Using Large Language Model [22.64392837434924]
  EoHは自然言語における思考の考えを表しており、これは「思考」と呼ばれている。 それらはLarge Language Models (LLM) によって実行可能なコードに変換される。 EoHは、オンラインのビンパッキング問題に対して、広く使われている人手作りのベースラインアルゴリズムを著しく上回っている。
  論文  参考訳（メタデータ） (2024-01-04T04:11:59Z)
• Large Search Model: Redefining Search Stack in the Era of LLMs [63.503320030117145]
  我々は,1つの大言語モデル(LLM)で検索タスクを統一することにより,従来の検索スタックを再定義する,大規模検索モデルと呼ばれる新しい概念的フレームワークを導入する。 全てのタスクは自動回帰テキスト生成問題として定式化され、自然言語のプロンプトを使ってタスクをカスタマイズできる。 提案フレームワークは,LLMの強力な言語理解と推論能力を活用し,既存の検索スタックを簡素化しつつ,検索結果の質を向上させる能力を提供する。
  論文  参考訳（メタデータ） (2023-10-23T05:52:09Z)
• Multi-Objective Quality Diversity Optimization [2.4608515808275455]
  MOME(Multi-Objective MAP-Elites)の多目的設定におけるMAP-Elitesアルゴリズムの拡張を提案する。 すなわち、MAP-Elitesグリッドアルゴリズムから受け継いだ多様性と、多目的最適化の強みを組み合わせる。 本手法は,標準的な最適化問題からロボットシミュレーションまで,いくつかのタスクで評価する。
  論文  参考訳（メタデータ） (2022-02-07T10:48:28Z)
• A survey on multi-objective hyperparameter optimization algorithms for Machine Learning [62.997667081978825]
  本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。 メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。 また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
  論文  参考訳（メタデータ） (2021-11-23T10:22:30Z)
• Quality-Diversity Optimization: a novel branch of stochastic optimization [5.677685109155078]
  マルチモーダル最適化アルゴリズムは、複数のことができる検索空間で最も高いピークを検索します。 品質多様性アルゴリズムは、進化的計算ツールボックスに最近追加されたもので、単一の局所光学系を探索するだけでなく、検索空間を照らそうとする。
  論文  参考訳（メタデータ） (2020-12-08T09:52:50Z)
• Provable Multi-Objective Reinforcement Learning with Generative Models [98.19879408649848]
  目的の選好から最適な政策を学習する単一政策 MORL の問題について検討する。 既存の方法は、多目的決定プロセスの正確な知識のような強い仮定を必要とする。 モデルベースエンベロップ値 (EVI) と呼ばれる新しいアルゴリズムを提案し, 包含された多目的$Q$学習アルゴリズムを一般化する。
  論文  参考訳（メタデータ） (2020-11-19T22:35:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。