論文の概要: UBER: Uncertainty-Based Evolution with Large Language Models for Automatic Heuristic Design

• arxiv url: http://arxiv.org/abs/2412.20694v1
• Date: Mon, 30 Dec 2024 04:05:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:07:56.549039
• Title: UBER: Uncertainty-Based Evolution with Large Language Models for Automatic Heuristic Design
• Title（参考訳）: UBER: 自動ヒューリスティック設計のための大規模言語モデルによる不確実性に基づく進化
• Authors: Zijie Chen, Zhanchao Zhou, Yu Lu, Renjun Xu, Lili Pan, Zhenzhong Lan,
• Abstract要約: 本稿では,FunSearchフレームワーク上に不確実性を統合することにより,自動設計のための進化的アルゴリズム(EA)手法を改良するUBER(Uncertainty-Based Evolution for Refinement)を提案する。 UBERは、適応探索・探索バランスのための不確かさ-包括的進化過程(UIEP)と、人口多様性を維持するための原則的不確実-包括的島再設定(UIIS)という2つの重要なイノベーションを紹介している。
• 参考スコア（独自算出の注目度）: 14.131178103518907
• License:
• Abstract: NP-hard problem-solving traditionally relies on heuristics, but manually crafting effective heuristics for complex problems remains challenging. While recent work like FunSearch has demonstrated that large language models (LLMs) can be leveraged for heuristic design in evolutionary algorithm (EA) frameworks, their potential is not fully realized due to its deficiency in exploitation and exploration. We present UBER (Uncertainty-Based Evolution for Refinement), a method that enhances LLM+EA methods for automatic heuristic design by integrating uncertainty on top of the FunSearch framework. UBER introduces two key innovations: an Uncertainty-Inclusive Evolution Process (UIEP) for adaptive exploration-exploitation balance, and a principled Uncertainty-Inclusive Island Reset (UIIS) strategy for maintaining population diversity. Through extensive experiments on challenging NP-complete problems, UBER demonstrates significant improvements over FunSearch. Our work provides a new direction for the synergy of LLMs and EA, advancing the field of automatic heuristic design.
• Abstract（参考訳）: NP-hard問題解決は伝統的にヒューリスティックに頼っているが、複雑な問題に対して効果的なヒューリスティックを手作業で作成することは依然として困難である。 FunSearchのような最近の研究は、進化的アルゴリズム(EA)フレームワークにおけるヒューリスティックな設計に大規模な言語モデル(LLM)を活用できることを実証している。 本稿では,FunSearchフレームワーク上に不確実性を統合することで,自動ヒューリスティック設計のためのLLM+EA法を強化する方法であるUBER(Uncertainty-Based Evolution for Refinement)を提案する。 UBERは、適応探索・探索バランスのための不確かさ-包括的進化過程(UIEP)と、人口多様性を維持するための原則的不確実-包括的島再設定(UIIS)という2つの重要なイノベーションを紹介している。 NP完全問題に対する広範な実験を通じて、UBERはFunSearchよりも大幅に改善されている。 我々の研究は、LLMとEAのシナジーに新たな方向を与え、自動ヒューリスティックデザインの分野を前進させる。

関連論文リスト

• Multi-objective Evolution of Heuristic Using Large Language Model [29.337470185034555]
  探索を多目的最適化問題としてモデル化し、最適性能を超える追加の実践的基準を導入することを検討する。 我々は,最初の多目的探索フレームワークである多目的ヒューリスティック進化(MEoH)を提案する。
  論文  参考訳（メタデータ） (2024-09-25T12:32:41Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• The hop-like problem nature -- unveiling and modelling new features of real-world problems [0.0]
  最適化プロセスのホップに基づく解析を提案する。 その結果、有名なLeading Ones問題の特徴のいくつかの存在が示唆された。 実験では、GAの有効性を改善するためにどのようなメカニズムを提案する必要があるかを明らかにする。
  論文  参考訳（メタデータ） (2024-06-03T11:30:04Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• SEGO: Sequential Subgoal Optimization for Mathematical Problem-Solving [64.38649623473626]
  大規模言語モデル(LLM)は人工知能の大幅な進歩を導いた。 数学的問題を解く能力を高めるために,textbfSEquential subtextbfGoal textbfOptimization (SEGO) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-19T17:56:40Z)
• Multiobjective Evolutionary Component Effect on Algorithm behavior [0.04588028371034406]
  パフォーマンス改善につながる最も影響力のあるコンポーネントは何かは不明だ。 この手法を,反復レース (irace) 構成パッケージによって設計された分解(MOEA/D)に基づくチューニング多目的進化アルゴリズムに適用する。 本稿では,検索トラジェクトリ・ネットワーク(STN),人口の多様性,時空の超体積値について,アルゴリズム成分の影響を比較した。
  論文  参考訳（メタデータ） (2023-07-31T16:02:56Z)
• Evolutionary quantum feature selection [0.0]
  本研究では,量子回路進化(QCE)アルゴリズムを用いた量子特徴選択法(EQFS)を提案する。 提案手法は,浅部深度回路を用いてスパース確率分布を生成するQCEのユニークな機能を利用する。 計算実験により、EQFSは特徴数の2次スケーリングと良い特徴の組み合わせを識別できることを示した。
  論文  参考訳（メタデータ） (2023-03-13T14:01:37Z)
• Simulation-guided Beam Search for Neural Combinatorial Optimization [13.072343634530883]
  ニューラル最適化問題に対するシミュレーション誘導ビームサーチ(SGBS)を提案する。 我々は、SGBSと効率的なアクティブサーチ(EAS)を併用し、SGBSはEASでバックプロパゲーションされたソリューションの品質を高める。 提案手法をよく知られたCOベンチマークで評価し,SGBSが合理的な仮定で得られた解の質を著しく向上することを示す。
  論文  参考訳（メタデータ） (2022-07-13T13:34:35Z)
• AutoSpace: Neural Architecture Search with Less Human Interference [84.42680793945007]
  現在のニューラルネットワークアーキテクチャ検索(NAS)アルゴリズムは、ネットワーク構築のための検索空間を設計するための専門知識と努力を必要とします。 探索空間を最適なものに進化させる新しい微分可能な進化フレームワークであるAutoSpaceを提案する。 学習した検索空間では、最近のNASアルゴリズムの性能は、以前手作業で設計した空間に比べて大幅に改善できる。
  論文  参考訳（メタデータ） (2021-03-22T13:28:56Z)
• Offline Model-Based Optimization via Normalized Maximum Likelihood Estimation [101.22379613810881]
  データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。 この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。 我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
  論文  参考訳（メタデータ） (2021-02-16T06:04:27Z)
• AdaLead: A simple and robust adaptive greedy search algorithm for sequence design [55.41644538483948]
  我々は、容易で、拡張性があり、堅牢な進化的欲求アルゴリズム(AdaLead)を開発した。 AdaLeadは、様々な生物学的に動機づけられたシーケンスデザインの課題において、アートアプローチのより複雑な状態を克服する、驚くほど強力なベンチマークである。
  論文  参考訳（メタデータ） (2020-10-05T16:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。