論文の概要: What Makes an LLM a Good Optimizer? A Trajectory Analysis of LLM-Guided Evolutionary Search

• arxiv url: http://arxiv.org/abs/2604.19440v1
• Date: Tue, 21 Apr 2026 13:16:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.780747
• Title: What Makes an LLM a Good Optimizer? A Trajectory Analysis of LLM-Guided Evolutionary Search
• Title（参考訳）: LLMが良い最適化要因となるものは何か? : LLM誘導進化探索の軌道解析
• Authors: Xinhao Zhang, Xi Chen, François Portet, Maxime Peyrard,
• Abstract要約: 大規模言語モデル(LLM)を用いた進化探索の大規模研究について述べる。 強いLLMが局所的な精錬機として振る舞うことは、意味空間における探索を段階的に局所化しながら、頻繁な改善をもたらす。 本研究は,LLMに基づく最適化システムの理解と改善のための軌道解析の重要性を強調した。
• 参考スコア（独自算出の注目度）: 12.864972111640247
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has demonstrated the promise of orchestrating large language models (LLMs) within evolutionary and agentic optimization systems. However, the mechanisms driving these optimization gains remain poorly understood. In this work, we present a large-scale study of LLM-guided evolutionary search, collecting optimization trajectories for 15 LLMs across 8 tasks. Although zero-shot problem-solving ability correlates with final optimization outcomes, it explains only part of the variance: models with similar initial capability often induce dramatically different search trajectories and outcomes. By analyzing these trajectories, we find that strong LLM optimizers behave as local refiners, producing frequent incremental improvements while progressively localizing the search in semantic space. Conversely, weaker optimizers exhibit large semantic drift, with sporadic breakthroughs followed by stagnation. Notably, various measures of solution novelty do not predict final performance; novelty is beneficial only when the search remains sufficiently localized around high-performing regions of the solution space. Our results highlight the importance of trajectory analysis for understanding and improving LLM-based optimization systems and provide actionable insights for their design and training.
• Abstract（参考訳）: 最近の研究は、進化的およびエージェント的最適化システム内での大規模言語モデル(LLM)のオーケストレーションの可能性を実証している。 しかし、これらの最適化を促進するメカニズムはいまだによく理解されていない。 本研究では, LLM誘導進化探索の大規模研究を行い, 8つのタスクにまたがる15個のLLMの最適化軌道を収集する。 ゼロショットの問題解決能力は最終的な最適化結果と相関するが、これは分散の一部だけを説明する: 類似の初期能力を持つモデルは、しばしば劇的に異なる探索軌道と結果をもたらす。 これらの軌跡を解析することにより、強力なLLMオプティマイザが局所的なリファインダーとして振る舞うことが分かり、セマンティック空間における探索を段階的に局所化しながら、頻繁な改善がもたらされる。 逆に、より弱いオプティマイザは大きなセマンティックドリフトを示し、散発的なブレークスルーに続いて停滞する。 特に、解の新規性の様々な尺度は最終的な性能を予測しないが、解空間のハイパフォーマンス領域を中心に探索が十分に局所化されている場合にのみ、新規性は有益である。 本研究は,LLMに基づく最適化システムの理解と改善のための軌道解析の重要性を強調し,その設計と学習に有効な知見を提供する。

関連論文リスト

• A Systematic Survey on Large Language Models for Evolutionary Optimization: From Modeling to Solving [26.501685261132124]
  大規模言語モデル(LLM)は、最適化問題に対処するためにますます研究されている。 急速な進歩にもかかわらず、この分野は依然として統一的な合成と体系的な分類を欠いている。 この調査は、最近の開発を包括的にレビューし、構造化されたフレームワーク内でそれらを整理することで、このギャップに対処する。
  論文  参考訳（メタデータ） (2025-09-10T04:05:54Z)
• Agentic Reinforced Policy Optimization [66.96989268893932]
  検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。 現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。 エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
  論文  参考訳（メタデータ） (2025-07-26T07:53:11Z)
• OPT-BENCH: Evaluating LLM Agent on Large-Scale Search Spaces Optimization Problems [19.586884180343038]
  OPT-BENCHは、大規模検索空間最適化問題において、LLM(Large Language Models)を評価するために設計されたベンチマークである。 OPT-Agentは、歴史的フィードバックを通じてソリューションの生成、検証、反復的に改善することで、複雑な問題に取り組む際の人間の推論をエミュレートする。
  論文  参考訳（メタデータ） (2025-06-12T14:46:41Z)
• Deep Insights into Automated Optimization with Large Language Models and Evolutionary Algorithms [3.833708891059351]
  大きな言語モデル(LLM)と進化的アルゴリズム(EA)は、制限を克服し、最適化をより自動化するための有望な新しいアプローチを提供する。 LLMは最適化戦略の生成、洗練、解釈が可能な動的エージェントとして機能する。 EAは進化作用素を通して、複雑な解空間を効率的に探索する。
  論文  参考訳（メタデータ） (2024-10-28T09:04:49Z)
• EVOLvE: Evaluating and Optimizing LLMs For In-Context Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Large Language Model-Aided Evolutionary Search for Constrained Multiobjective Optimization [15.476478159958416]
  我々は,制約付き多目的最適化問題に対する進化探索を強化するために,大規模言語モデル(LLM)を用いる。 私たちの目標は、進化の集団の収束を早めることです。
  論文  参考訳（メタデータ） (2024-05-09T13:44:04Z)
• Are Large Language Models Good Prompt Optimizers? [65.48910201816223]
  我々は,LLMに基づくPrompt Optimizationの実際のメカニズムを明らかにするために研究を行っている。 以上の結果から, LLMは, 反射中の誤差の真の原因を特定するのに苦慮し, 自己の事前知識に偏っていることが明らかとなった。 我々は、より制御可能な方法でターゲットモデルの振舞いを直接最適化する新しい「自動振舞い最適化」パラダイムを導入する。
  論文  参考訳（メタデータ） (2024-02-03T09:48:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。