論文の概要: Understanding Large Language Models as Numerical Optimizers

• arxiv url: http://arxiv.org/abs/2610.37932v1
• Date: Tue, 27 Oct 2026 20:20:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.327831
• Title: Understanding Large Language Models as Numerical Optimizers
• Title（参考訳）: 数値最適化器としての大規模言語モデルの理解
• Abstract要約: 大規模言語モデル(LLM)は、数値最適化のための潜在的なツールとして登場した。 本稿では, LLMが数学的問題構造を利用して, 実現可能な準最適解を生成する能力について検討する。
• 参考スコア（独自算出の注目度）: 9.65981354803407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have emerged as potential tools for numerical optimization. Despite promising results, their intrinsic optimization capabilities and limitations remain poorly understood, particularly in high dimensions. This paper investigates the ability of LLMs to exploit mathematical problem structures and generate feasible, near-optimal solutions. We develop an evaluation framework that distinguishes solution quality from execution failures, including numerical inaccuracies, constraint violations, and output-format errors. Using representative problems from convex optimization, fractional programming, and constrained projection, we assess LLM performance against deterministic reference solvers across different dimensions. Our results reveal that LLMs can capture useful optimization structures and produce near-optimal solutions, even when their outputs fail to satisfy numerical or formatting requirements. However, reliability deteriorates with increasing problem dimension and depends strongly on the underlying optimization structure. To further investigate the limitations, we deploy an iterative refinement mechanism that provides targeted feedback on feasibility and solution quality. The results demonstrate that iterative refinement substantially improves reliability and extends the range of problem dimensions over which LLMs produce valid solutions. Nevertheless, persistent numerical and structural errors limit their applicability as standalone optimizers. These findings provide insights into the capacity and limits of LLM-based optimization and motivate hybrid approaches that combine LLM reasoning with deterministic numerical verification.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、数値最適化のための潜在的なツールとして登場した。 有望な結果にもかかわらず、本質的な最適化能力と限界は、特に高次元においてよく理解されていない。 本稿では, LLMが数学的問題構造を利用して, 実現可能な準最適解を生成する能力について検討する。 我々は,数値的不正確さ,制約違反,出力形式エラーなどを含む,ソリューション品質と実行障害とを区別する評価フレームワークを開発する。 凸最適化,分数計画,制約付きプロジェクションなどの代表的問題を用いて,異なる次元にわたる決定論的参照解法に対してLLMの性能を評価する。 この結果から, LLMは, 計算条件やフォーマット条件を満たさなくても, 有用な最適化構造を捕捉し, ほぼ最適解を生成することができることがわかった。 しかし、信頼性は問題次元の増大とともに悪化し、基礎となる最適化構造に強く依存する。 限界をさらに調査するため,本研究では,実現可能性とソリューション品質に対する目標フィードバックを提供する反復的な改善機構を展開させる。 その結果,反復改良は信頼性を著しく向上し,LCMが有効な解を生成する問題範囲を拡大することを示した。 それでも、永続的な数値と構造的エラーは、スタンドアロンのオプティマイザとしての適用性を制限している。 これらの知見は, LLMに基づく最適化のキャパシティと限界に関する洞察を与え, LLM推論と決定論的数値検証を組み合わせたハイブリッドアプローチを動機づけるものである。

関連論文リスト

• Opt-Verifier: Unleashing the Power of LLMs for Optimization Modeling via Dual-Side Verification [53.763212981479455]
  本稿では、構造と解の両方の観点から、デュアルサイド検証(Opt-Verifier)を用いた新しいフレームワークを提案する。 一般的なベンチマーク実験により、我々の手法は精度が20%以上向上していることが示された。
  論文  参考訳（メタデータ） (2026-05-28T08:09:52Z)
• FrontierOR: Benchmarking LLMs' Capacity for Efficient Algorithm Design in Large-Scale Optimization [61.43300970020897]
  大規模言語モデル(LLM)は、最適化モデリングとソルバコード生成にますます使われている。 既存のベンチマークは、実際のスケールと複雑さよりもはるかに低い、小さな、あるいは単純化された例に限られている。 現実的な大規模最適化問題に対して,LLMに基づく効率的なアルゴリズム設計を評価するための最初のベンチマークとしてFrontierORを紹介した。
  論文  参考訳（メタデータ） (2026-05-24T20:10:42Z)
• Execution-Verified Reinforcement Learning for Optimization Modeling [49.171122807323634]
  実行検証学習フレームワークは、数学的プログラミング解法を決定論的で対話的な検証器として扱う。 NL4OPT, MAMO, IndustryOR, OptiBenchをグロビ, OR-Tools, COPTで行った実験では, EVOMがプロセス管理SFTに適合または優れていた。
  論文  参考訳（メタデータ） (2026-04-01T03:39:11Z)
• LLMize: A Framework for Large Language Model-Based Numerical Optimization [0.0]
  大規模言語モデル(LLM)は、最近、従来の言語タスク以上の強力な推論能力を示している。 本稿では,LLM駆動最適化を実現するオープンソースPythonフレームワークであるLLMizeを提案する。
  論文  参考訳（メタデータ） (2025-12-30T20:05:30Z)
• Rectifying LLM Thought from Lens of Optimization [48.98086817378953]
  ロングチェーン・オブ・シンクレット (Long chain-of- Thought, CoT) は、徹底的な調査と検討を可能にする。 進歩にもかかわらず、長いCoT LLMは、しばしば最適な推論行動を示す。 ポストトレーニング中のLCM推論を洗練するための新しい手法であるReProを紹介する。
  論文  参考訳（メタデータ） (2025-12-01T17:41:08Z)
• Peering Inside the Black Box: Uncovering LLM Errors in Optimization Modelling through Component-Level Evaluation [0.0]
  大規模言語モデル(LLM)のためのコンポーネントレベル評価フレームワークを提案する。 GPT-5、LLaMA 3.1命令、DeepSeek Mathを様々な複雑さの最適化問題で評価する。 その結果、GPT-5は他のモデルよりも一貫して優れており、チェーン・オブ・シンク、自己整合性、モジュール性がより効果的であることを証明している。
  論文  参考訳（メタデータ） (2025-10-19T17:47:59Z)
• From Natural Language to Solver-Ready Power System Optimization: An LLM-Assisted, Validation-in-the-Loop Framework [1.7136832159667206]
  本稿では,Large Language Models (LLMs) を用いたエージェントを導入し,電力系統最適化シナリオの自然言語記述を,コンパクトで解決可能な定式化に自動変換する。 提案手法は,オフザシェルフ最適化解法により効率よく解ける数学的に互換性のある定式化の発見に重点を置いている。
  論文  参考訳（メタデータ） (2025-08-11T16:22:57Z)
• Can Large Language Models Be Trusted as Evolutionary Optimizers for Network-Structured Combinatorial Problems? [8.431866560904753]
  大規模言語モデル(LLM)は、言語理解とさまざまなドメイン間の推論において強力な能力を示している。 本研究では,問題構造に係わるLLMの能力を評価するための体系的枠組みを提案する。 我々は、よく使われる進化的手法(EVO)を採用し、LLM演算子の出力忠実度を厳格に評価する包括的評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-25T05:19:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。