論文の概要: BEAM: Bi-level Memory-adaptive Algorithmic Evolution for LLM-Powered Heuristic Design

• arxiv url: http://arxiv.org/abs/2604.12898v1
• Date: Tue, 14 Apr 2026 15:46:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.543072
• Title: BEAM: Bi-level Memory-adaptive Algorithmic Evolution for LLM-Powered Heuristic Design
• Title（参考訳）: BEAM: LLM駆動ヒューリスティック設計のための2レベルメモリ適応アルゴリズム進化
• Authors: Chuyang Xiang, Yichen Wei, Jiale Ma, Handing Wang, Junchi Yan,
• Abstract要約: 大規模言語モデルに基づくハイパーヒューリスティック(LHH)は、最近、自動設計の効率的な方法として登場した。 この問題に対処するために textbfBEAM (Bi-level Memory-adaptive Algorithmic Evolution) を提案する。 BEAMは既存のLHHよりも著しく優れており、特に最適性ギャップが37.84%減少している。
• 参考スコア（独自算出の注目度）: 49.50107918295052
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Model-based Hyper Heuristic (LHH) has recently emerged as an efficient way for automatic heuristic design. However, most existing LHHs just perform well in optimizing a single function within a pre-defined solver. Their single-layer evolution makes them not effective enough to write a competent complete solver. While some variants incorporate hyperparameter tuning or attempt to generate complex code through iterative local modifications, they still lack a high-level algorithmic modeling, leading to limited exploration efficiency. To address this, we reformulate heuristic design as a Bi-level Optimization problem and propose \textbf{BEAM} (Bi-level Memory-adaptive Algorithmic Evolution). BEAM's exterior layer evolves high-level algorithmic structures with function placeholders through genetic algorithm (GA), while the interior layer realizes these placeholders via Monte Carlo Tree Search (MCTS). We further introduce an Adaptive Memory module to facilitate complex code generation. To support the evaluation for complex code generation, we point out the limitations of starting LHHs from scratch or from code templates and introduce a Knowledge Augmentation (KA) Pipeline. Experimental results on several optimization problems demonstrate that BEAM significantly outperforms existing LHHs, notably reducing the optimality gap by 37.84\% on aggregate in CVRP hybrid algorithm design. BEAM also designs a heuristic that outperforms SOTA Maximum Independent Set (MIS) solver KaMIS.
• Abstract（参考訳）: 大規模言語モデルに基づくハイパーヒューリスティック(LHH)は、最近、自動ヒューリスティック設計の効率的な方法として登場した。 しかし、既存のほとんどのLHHは、事前定義された解法内での単一関数の最適化においてうまく機能する。 それらの単層進化は、有能な完全解法を書くのに十分な効果が得られない。 一部の変種はハイパーパラメータチューニングや、反復的な局所的な修正によって複雑なコードを生成する試みを取り入れているが、それでも高いレベルのアルゴリズムモデリングが欠けており、探索効率が制限されている。 そこで本研究では,双レベル最適化問題としてヒューリスティック設計を再構築し,二レベルメモリ適応アルゴリズム進化(Bi-level Memory-Adaptive Algorithmic Evolution)を提案する。 BEAMの外層は遺伝的アルゴリズム(GA)を介して関数プレースホルダーを持つ高レベルのアルゴリズム構造を進化させ、内部層はモンテカルロ木探索(MCTS)を介してこれらのプレースホルダーを実現する。 さらに、複雑なコード生成を容易にするためのAdaptive Memoryモジュールを導入します。 複雑なコード生成の評価をサポートするため、スクラッチやコードテンプレートからLHHsを開始する際の制限を指摘し、Knowledge Augmentation (KA) Pipelineを導入する。 いくつかの最適化問題に対する実験結果から、BEAMは既存のLHHよりも大幅に優れており、特にCVRPハイブリッドアルゴリズム設計における集約の最適性ギャップを37.84 %削減している。 BEAM は SOTA Maximum Independent Set (MIS) の解法である KaMIS よりも優れるヒューリスティックな設計も行っている。

関連論文リスト

• Applying Grover-mixer Quantum Alternating Operator Ansatz Algorithm to High-order Unconstrained Binary Optimization Problems [0.21847754147782883]
  Grover-mixer(GM-QAOA)は、グローバル検索機能のために魅力的な代替手段を提供する。 GM-QAOAはXM-QAOAとは異なり,回路深度で単調な性能向上を示す。
  論文  参考訳（メタデータ） (2025-12-28T18:01:20Z)
• BAMBO: Construct Ability and Efficiency LLM Pareto Set via Bayesian Adaptive Multi-objective Block-wise Optimization [4.196004665145396]
  BAMBO(Bayesian Adaptive Multi-objective Block-wise Optimization)は、大規模言語モデル(LLM)を自動的に構築する新しいフレームワークである。 1次元クラスタリング問題として定式化されたこの戦略は、動的プログラミング手法を利用してブロック内およびブロック間情報の分散を最適にバランスさせる。
  論文  参考訳（メタデータ） (2025-12-10T15:32:56Z)
• LLM4CMO: Large Language Model-aided Algorithm Design for Constrained Multiobjective Optimization [54.35609820607923]
  大規模言語モデル(LLM)は、アルゴリズム設計を支援する新しい機会を提供する。 LLM4CMOは,2つの人口構成をもつ2段階のフレームワークをベースとした新しいCMOEAである。 LLMは複雑な進化最適化アルゴリズムの開発において効率的な共同設計者として機能する。
  論文  参考訳（メタデータ） (2025-08-16T02:00:57Z)
• Optimizing Prompt Sequences using Monte Carlo Tree Search for LLM-Based Optimization [20.44067161623662]
  大規模言語モデル(LLM)は、コード生成と構造化推論において顕著な能力を示した。 本稿では,モンテカルロ木探索によって導かれる逐次決定過程として,選択を高速化するニューラルシンボリックフレームワークを提案する。 本手法は,コード生成品質の向上を目的として,複数ステップのプロンプトシーケンスを探索・精査する。
  論文  参考訳（メタデータ） (2025-08-08T04:01:24Z)
• Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
  本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。 従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。 本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T14:08:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。