論文の概要: Behaviour Space Analysis of LLM-driven Meta-heuristic Discovery

• arxiv url: http://arxiv.org/abs/2507.03605v1
• Date: Fri, 04 Jul 2025 14:19:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.799135
• Title: Behaviour Space Analysis of LLM-driven Meta-heuristic Discovery
• Title（参考訳）: LLM駆動型メタヒューリスティックディスカバリの挙動空間解析
• Authors: Niki van Stein, Haoran Yin, Anna V. Kononova, Thomas Bäck, Gabriela Ochoa,
• Abstract要約: メタヒューリスティックな最適化アルゴリズムを大規模言語モデル駆動型アルゴリズム探索法で自動生成する。 我々は、BBOBベンチマークスイートから10個の関数に対して評価したブラックボックス最適化を反復的に進化させる。 探索,搾取,収束,停滞といった行動指標を各実行毎に記録し,これらを視覚的投影とネットワークベースの表現を通じて分析する。
• 参考スコア（独自算出の注目度）: 2.0958996366233094
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the behaviour space of meta-heuristic optimisation algorithms automatically generated by Large Language Model driven algorithm discovery methods. Using the Large Language Evolutionary Algorithm (LLaMEA) framework with a GPT o4-mini LLM, we iteratively evolve black-box optimisation heuristics, evaluated on 10 functions from the BBOB benchmark suite. Six LLaMEA variants, featuring different mutation prompt strategies, are compared and analysed. We log dynamic behavioural metrics including exploration, exploitation, convergence and stagnation measures, for each run, and analyse these via visual projections and network-based representations. Our analysis combines behaviour-based projections, Code Evolution Graphs built from static code features, performance convergence curves, and behaviour-based Search Trajectory Networks. The results reveal clear differences in search dynamics and algorithm structures across LLaMEA configurations. Notably, the variant that employs both a code simplification prompt and a random perturbation prompt in a 1+1 elitist evolution strategy, achieved the best performance, with the highest Area Over the Convergence Curve. Behaviour-space visualisations show that higher-performing algorithms exhibit more intensive exploitation behaviour and faster convergence with less stagnation. Our findings demonstrate how behaviour-space analysis can explain why certain LLM-designed heuristics outperform others and how LLM-driven algorithm discovery navigates the open-ended and complex search space of algorithms. These findings provide insights to guide the future design of adaptive LLM-driven algorithm generators.
• Abstract（参考訳）: メタヒューリスティック最適化アルゴリズムの振る舞い空間を大規模言語モデル駆動型アルゴリズム探索法により自動生成する。 GPT o4-mini LLMを用いたLarge Language Evolutionary Algorithm (LLaMEA) フレームワークを用いて,BBOBベンチマークスイートの10関数に対して,ブラックボックス最適化ヒューリスティックスを反復的に進化させる。 異なる変異プロンプト戦略を特徴とする6つのLLaMEA変異体を比較し分析する。 探索,エクスプロイト,収束,停滞といった動的行動指標を各実行毎に記録し,これらを視覚的投影とネットワークベース表現を通じて解析する。 私たちの分析では、振る舞いベースのプロジェクション、静的コード特徴から構築されたコード進化グラフ、パフォーマンス収束曲線、振る舞いベースの検索トラジェクトリネットワークを組み合わせています。 その結果,LLaMEA構成における探索力学とアルゴリズム構造の違いが明らかとなった。 特に、コード単純化プロンプトとランダムな摂動プロンプトの両方を1+1エリート主義の進化戦略で用いた変種は、最高性能を達成し、収束曲線のArea Over the Convergence Curveで最高となった。 振る舞い空間の可視化は、より高いパフォーマンスのアルゴリズムはより集中的な搾取行動を示し、停滞を減らしてより速い収束を示すことを示している。 本研究は, LLM設計のヒューリスティックが他より優れている理由と, LLM駆動のアルゴリズム発見が, アルゴリズムのオープン・エンド・複雑な検索空間をいかにナビゲートするかを, 行動空間分析が説明できることを示すものである。 これらの知見は、適応LDM駆動型アルゴリズム生成装置の将来設計の指針となる。

関連論文リスト

• Graph-Supported Dynamic Algorithm Configuration for Multi-Objective Combinatorial Optimization [5.481047026874548]
  本稿では,多目的進化アルゴリズムを構成する新しいグラフニューラルネットワーク(GNN)のDRLを提案する。 動的アルゴリズムの構成をマルコフ決定過程としてモデル化し、グラフによる対象空間における解の収束を表現する。 多様なMOCO課題に対する実験により,本手法は従来手法およびDRL方式のアルゴリズム構成法よりも有効性と適応性に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-05-22T09:53:54Z)
• Fitness Landscape of Large Language Model-Assisted Automated Algorithm Search [15.767411435705752]
  本稿では,大規模言語モデルを用いたアルゴリズム検索の適応環境を提示し,解析する。 この結果から, LASランドスケープはマルチモーダルで頑丈であることが明らかとなった。 また,人口規模が探索・探索のトレードオフや,エリートアルゴリズムの進化軌跡にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2025-04-28T09:52:41Z)
• Optimizing Photonic Structures with Large Language Model Driven Algorithm Discovery [2.2485774453793037]
  我々は,ブラッグミラー,エリプソメトリー逆解析,太陽電池反反射コーティングなどの多層フォトニック問題に適した構造的プロンプトエンジニアリングを導入する。 我々は、(1+1)、(1+5)、(2+10)など、複数の進化戦略を探求し、探索と搾取のバランスをとる。 実験により, LLM生成アルゴリズムは, 大規模問題インスタンスを用いて生成され, 既定の手法と一致するか, あるいは超えることを示す。
  論文  参考訳（メタデータ） (2025-03-25T15:05:25Z)
• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• On the Design and Analysis of LLM-Based Algorithms [74.7126776018275]
  大規模言語モデル(LLM)はアルゴリズムのサブルーチンとして使用される。 LLMは素晴らしい経験的成功を収めた。 提案フレームワークは,LLMアルゴリズムの進歩を約束する。
  論文  参考訳（メタデータ） (2024-07-20T07:39:07Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。