論文の概要: A Systematic Survey on Large Language Models for Evolutionary Optimization: From Modeling to Solving
- arxiv url: http://arxiv.org/abs/2509.08269v2
- Date: Sat, 27 Sep 2025 05:42:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 20:10:04.569516
- Title: A Systematic Survey on Large Language Models for Evolutionary Optimization: From Modeling to Solving
- Title（参考訳）: 進化的最適化のための大規模言語モデルに関する体系的研究:モデリングから解決まで
- Authors: Yisong Zhang, Ran Cheng, Guoxing Yi, Kay Chen Tan,
- Abstract要約: 大規模言語モデル(LLM)は、最適化問題に対処するためにますます研究されている。
急速な進歩にもかかわらず、この分野は依然として統一的な合成と体系的な分類を欠いている。
この調査は、最近の開発を包括的にレビューし、構造化されたフレームワーク内でそれらを整理することで、このギャップに対処する。
- 参考スコア（独自算出の注目度）: 26.501685261132124
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs), with their strong understanding and reasoning capabilities, are increasingly being explored for tackling optimization problems, especially in synergy with evolutionary computation. Despite rapid progress, however, the field still lacks a unified synthesis and a systematic taxonomy. This survey addresses this gap by providing a comprehensive review of recent developments and organizing them within a structured framework. We classify existing research into two main stages: LLMs for optimization modeling and LLMs for optimization solving. The latter is further divided into three paradigms according to the role of LLMs in the optimization workflow: LLMs as stand-alone optimizers, low-level LLMs embedded within optimization algorithms, and high-level LLMs for algorithm selection and generation. For each category, we analyze representative methods, distill technical challenges, and examine their interplay with traditional approaches. We also review interdisciplinary applications spanning the natural sciences, engineering, and machine learning. By contrasting LLM-driven and conventional methods, we highlight key limitations and research gaps, and point toward future directions for developing self-evolving agentic ecosystems for optimization. An up-to-date collection of related literature is maintained at https://github.com/ishmael233/LLM4OPT.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、その強い理解と推論能力を持ち、最適化問題、特に進化的計算と相乗効果に対処するために研究が進められている。
しかし、急速な進歩にもかかわらず、この分野は依然として統一的な合成と体系的な分類を欠いている。
この調査は、最近の開発状況を包括的にレビューし、構造化されたフレームワーク内でそれらを整理することで、このギャップに対処する。
既存の研究は、最適化モデリングのためのLLMと最適化解決のためのLLMの2つの主要な段階に分類する。
最適化ワークフローにおけるLLMの役割により、LLMはスタンドアローン最適化として、低レベルLLMは最適化アルゴリズムに埋め込まれ、高レベルLLMはアルゴリズムの選択と生成のためにさらに3つのパラダイムに分けられる。
各カテゴリにおいて,代表的手法を分析し,技術的課題を抽出し,従来の手法との相互作用を検討する。
また、自然科学、工学、機械学習にまたがる学際的応用についても検討する。
LLMと従来の手法とは対照的に、鍵となる限界と研究ギャップを強調し、最適化のための自己進化型エージェントエコシステムを開発するための今後の方向性を示す。
関連文献の最新のコレクションはhttps://github.com/ishmael233/LLM4OPTで維持されている。
関連論文リスト
- LLM4CMO: Large Language Model-aided Algorithm Design for Constrained Multiobjective Optimization [54.35609820607923]
大規模言語モデル(LLM)は、アルゴリズム設計を支援する新しい機会を提供する。
LLM4CMOは,2つの人口構成をもつ2段階のフレームワークをベースとした新しいCMOEAである。
LLMは複雑な進化最適化アルゴリズムの開発において効率的な共同設計者として機能する。
論文 参考訳（メタデータ） (2025-08-16T02:00:57Z) - Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。
古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。
コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
論文 参考訳（メタデータ） (2025-07-21T10:52:14Z) - A Survey on the Optimization of Large Language Model-based Agents [16.733092886211097]
大規模言語モデル(LLM)は様々な分野で広く採用されており、自律的な意思決定や対話的なタスクに欠かせないものとなっている。
しかしながら、現在の作業は通常、バニラLLMに適用された迅速な設計や微調整戦略に依存している。
LLMに基づくエージェント最適化手法の総合的なレビューを行い、パラメータ駆動型およびパラメータフリーな手法に分類する。
論文 参考訳（メタデータ） (2025-03-16T10:09:10Z) - A Survey on Post-training of Large Language Models [185.51013463503946]
大規模言語モデル(LLM)は、自然言語処理を根本的に変革し、会話システムから科学的探索まで、さまざまな領域で欠かせないものにしている。
これらの課題は、制限された推論能力、倫理的不確実性、最適なドメイン固有のパフォーマンスといった欠点に対処するために、先進的な訓練後言語モデル(PoLM)を必要とする。
本稿では,タスク固有の精度を向上するファインチューニング,倫理的コヒーレンスと人間の嗜好との整合性を保証するアライメント,報酬設計の課題によらず多段階の推論を進める推論,統合と適応の5つのパラダイムを体系的に追跡したPoLMの総合的な調査について述べる。
論文 参考訳（メタデータ） (2025-03-08T05:41:42Z) - LLM Post-Training: A Deep Dive into Reasoning Large Language Models [131.10969986056]
大規模言語モデル (LLMs) は自然言語処理の状況を変え、多様な応用をもたらした。
ポストトレーニング手法により、LLMは知識を洗練させ、推論を改善し、事実の正確性を高め、ユーザの意図や倫理的配慮をより効果的に整合させることができる。
論文 参考訳（メタデータ） (2025-02-28T18:59:54Z) - Deep Insights into Automated Optimization with Large Language Models and Evolutionary Algorithms [3.833708891059351]
大きな言語モデル(LLM)と進化的アルゴリズム(EA)は、制限を克服し、最適化をより自動化するための有望な新しいアプローチを提供する。
LLMは最適化戦略の生成、洗練、解釈が可能な動的エージェントとして機能する。
EAは進化作用素を通して、複雑な解空間を効率的に探索する。
論文 参考訳（メタデータ） (2024-10-28T09:04:49Z) - EVOLvE: Evaluating and Optimizing LLMs For In-Context Exploration [76.66831821738927]
大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。
多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。
最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
論文 参考訳（メタデータ） (2024-10-08T17:54:03Z) - The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review of Technologies, Research, Best Practices, Applied Research Challenges and Opportunities [0.35998666903987897]
本稿では,Large Language Models (LLM) の微調整について検討する。
従来の自然言語処理(NLP)モデルから、AIにおける彼らの重要な役割まで、LLMの歴史的進化を概説している。
本報告では, 微調整LDMのための構造化7段パイプラインについて紹介する。
論文 参考訳（メタデータ） (2024-08-23T14:48:02Z) - LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。
本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
論文 参考訳（メタデータ） (2024-05-30T06:24:14Z) - ORLM: A Customizable Framework in Training Large Models for Automated Optimization Modeling [15.67321902882617]
本稿では,オープンソースのLLMをトレーニングし,モデリングやソルバコードの開発を最適化する実行可能なパスを提案する。
この研究は、実用的なOR問題の解決においてLLMを評価するための最初の産業ベンチマークであるIndustrialORも導入した。
論文 参考訳（メタデータ） (2024-05-28T01:55:35Z) - When Large Language Model Meets Optimization [7.822833805991351]
大規模言語モデル(LLM)は、インテリジェントなモデリングと最適化における戦略的意思決定を容易にする。
本稿では,LLMと最適化アルゴリズムの組み合わせの進展と可能性について概説する。
論文 参考訳（メタデータ） (2024-05-16T13:54:37Z) - Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。
モデルパラメータ学習における2つの重要な要素を同定する。
グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
論文 参考訳（メタデータ） (2024-02-27T15:05:32Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳（メタデータ） (2024-02-26T07:33:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。