論文の概要: Large Language Models as Optimizers: A Survey of Direct vs. Tool-Augmented Approaches and Their Performance Frontiers
- arxiv url: http://arxiv.org/abs/2606.15577v1
- Date: Thu, 09 Apr 2026 17:35:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:12.894918
- Title: Large Language Models as Optimizers: A Survey of Direct vs. Tool-Augmented Approaches and Their Performance Frontiers
- Title（参考訳）: 最適化ツールとしての大規模言語モデル - 直接対ツール強化アプローチとそのパフォーマンスフロンティアの検討-
- Abstract要約: 大規模言語モデル(LLM)は複雑な数学的最適化にますます関与している。
本稿では、直接最適化の今後の可能性とツール強化最適化の監査可能性とのトレードオフを論じる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are increasingly involved in complex mathematical optimization, even if the pragmatic user who triggers them is unaware of it. After all, many real-world problems reduce to the search for better or the best solutions. The field of LLM-as-optimizer has three paradigms: direct optimization, tool-augmented optimization, and tool-creating optimization. Direct optimization uses iterative prompting and heuristic generation to navigate solution spaces. Tool-augmented optimization translates natural language problems into formal specifications and orchestrates external solvers. Tool-creating optimization goes further, using LLMs to discover reusable algorithms or heuristics that can be deployed at zero marginal LLM cost. We describe current performance frontiers based on the benchmarks from the literature. We identify the critical reasoning gap in current architectures and argue for trade-offs between the future potential of direct optimization and the auditability of tool-augmented optimization. Even future, more powerful models might opt for tool-making to improve operational efficiency for repetitive families of problems.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、たとえそれをトリガーする実用的ユーザでも、複雑な数学的最適化にますます関与している。
結局のところ、現実世界の多くの問題は、より良い、あるいは最良のソリューションを探すために減少する。
LLM-as-optimizerの分野には、直接最適化、ツール拡張最適化、ツール作成最適化の3つのパラダイムがある。
直接最適化は反復的なプロンプトとヒューリスティックな生成を使って解空間をナビゲートする。
ツール拡張最適化は、自然言語の問題を形式的な仕様に変換し、外部の問題解決者を編成する。
ツール作成の最適化はさらに進み、LLMを使って再利用可能なアルゴリズムやヒューリスティックを発見できる。
文献のベンチマークに基づいて,現在のパフォーマンスフロンティアについて述べる。
我々は、現在のアーキテクチャにおける重要な推論ギャップを特定し、直接最適化の将来の可能性とツール強化最適化の監査可能性の間のトレードオフを論じる。
将来的には、より強力なモデルは、繰り返し発生する問題のファミリーの運用効率を改善するために、ツール作成を選択するかもしれません。
関連論文リスト
- FrontierOR: Benchmarking LLMs' Capacity for Efficient Algorithm Design in Large-Scale Optimization [61.43300970020897]
大規模言語モデル(LLM)は、最適化モデリングとソルバコード生成にますます使われている。
既存のベンチマークは、実際のスケールと複雑さよりもはるかに低い、小さな、あるいは単純化された例に限られている。
現実的な大規模最適化問題に対して,LLMに基づく効率的なアルゴリズム設計を評価するための最初のベンチマークとしてFrontierORを紹介した。
論文 参考訳（メタデータ） (2026-05-24T20:10:42Z) - Democratizing Large-Scale Re-Optimization with LLM-Guided Model Patches [14.24802309734814]
本稿では,大規模言語モデル(LLM)がORエキスパートとして機能するエージェント的再最適化フレームワークを提案する。
提案フレームワークは,デプロイされた最適化モデルの対話的かつ連続的な適応を可能にする。
論文 参考訳（メタデータ） (2026-05-18T17:28:25Z) - LLMize: A Framework for Large Language Model-Based Numerical Optimization [0.0]
大規模言語モデル(LLM)は、最近、従来の言語タスク以上の強力な推論能力を示している。
本稿では,LLM駆動最適化を実現するオープンソースPythonフレームワークであるLLMizeを提案する。
論文 参考訳（メタデータ） (2025-12-30T20:05:30Z) - Improving Existing Optimization Algorithms with LLMs [0.9668407688201361]
本稿では,Large Language Models (LLM) が既存の最適化アルゴリズムをどのように拡張するかを検討する。
事前学習した知識を用いて、革新的なバリエーションと実装戦略を提案する能力を示す。
以上の結果から, GPT-4oによる代替案はCMSAのエキスパート設計よりも優れていた。
論文 参考訳（メタデータ） (2025-02-12T10:58:57Z) - Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。
通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。
本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
論文 参考訳（メタデータ） (2024-10-10T17:00:06Z) - A Problem-Oriented Perspective and Anchor Verification for Code Optimization [43.28045750932116]
大規模言語モデル(LLM)は、様々なプログラミングタスクを解く際、顕著な能力を示している。
本稿では,LLMが最小実行時間に最適化する能力について検討する。
論文 参考訳（メタデータ） (2024-06-17T16:10:10Z) - Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。
我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。
実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
論文 参考訳（メタデータ） (2024-06-12T16:58:41Z) - LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。
本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
論文 参考訳（メタデータ） (2024-05-30T06:24:14Z) - Large Language Models as Optimizers [106.52386531624532]
本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。
各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。
OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
論文 参考訳（メタデータ） (2023-09-07T00:07:15Z) - An Empirical Evaluation of Zeroth-Order Optimization Methods on
AI-driven Molecule Optimization [78.36413169647408]
分子目的を最適化するための様々なZO最適化手法の有効性について検討する。
ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。
本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
論文 参考訳（メタデータ） (2022-10-27T01:58:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。