論文の概要: Right Answers, Costly Models: The Efficiency Gap in LLM-based Optimization Modeling

• arxiv url: http://arxiv.org/abs/2609.38884v1
• Date: Wed, 30 Sep 2026 03:34:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.140068
• Title: Right Answers, Costly Models: The Efficiency Gap in LLM-based Optimization Modeling
• Title（参考訳）: LLMに基づく最適化モデルにおける効率ギャップの正解とコストモデル
• Abstract要約: 大規模言語モデル(LLM)が自然言語記述から問題構造を識別できるかどうかを検討する。 既存の最適化ベンチマークから新しいタスクに問題を変換するマルチエージェントフレームワークである OptDachshund を開発した。 従来の数学的モデルと専門的なモデルを構築し、同じタスクとデータのためのソルバコードを構築し、正確性と計算コストのベースラインを提供する。
• 参考スコア（独自算出の注目度）: 20.222708640548767
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimization modeling formulates real-world decision problems as mathematical programs that solvers can use to find optimal decisions. Large language models (LLMs) can automate this process, but the resulting correct formulations can require substantial time and memory to construct and solve, limiting practical scalability. Therefore, we systematically investigate whether LLMs can identify problem structure from natural-language descriptions and apply suitable optimization modeling techniques to generate mathematical models and solver code that solve the problems correctly and efficiently. To this end, we first curate OptTips, a knowledge base of 50 expert modeling techniques in eight families. Using this knowledge, we develop OptDachshund, a multi-agent framework that transforms problems from existing optimization benchmarks into new tasks for evaluating LLMs' use of modeling techniques. It constructs conventional and expert mathematical models with solver code for the same task and data, providing baselines for correctness and computational cost. The resulting EfficientOpt benchmark contains 561 expert-reviewed tasks with paired reference implementations. Evaluation of 11 representative LLMs reveals an efficiency gap on correctly solved tasks with comparable measurements: for every LLM, most generated programs take longer to solve than their expert counterparts. Within the comparable reference-size subset, 57\% of programs with correct objective values and fewer variables and linear constraints have longer recorded solver times. Case studies show that different modeling techniques can achieve the same optimal value at similar recorded cost. Faster solving may not reduce execution time if the code takes longer to prepare data and build the model. LLM optimization modeling should therefore be evaluated for both correctness and computational efficiency.
• Abstract（参考訳）: 最適化モデリングは、問題解決者が最適な決定を見つけるために使用できる数学的プログラムとして現実の意思決定問題を定式化する。 大規模言語モデル(LLM)は、このプロセスを自動化できますが、結果として得られる正しい定式化は、構築と解決にかなりの時間とメモリを必要とし、実用的なスケーラビリティを制限します。 そこで本研究では,LLMが自然言語記述から問題構造を識別できるかどうかを体系的に検討し,問題の正確かつ効率的な数学的モデルと解法コードを生成するのに最適な最適化モデリング手法を適用した。 この目的のために、まず8つのファミリーで50のエキスパートモデリングテクニックの知識ベースであるOpsTipsをキュレートする。 この知識を用いて,既存の最適化ベンチマークから LLM を用いたモデリング手法を評価するための新しいタスクに問題を変換するマルチエージェントフレームワークである OptDachshund を開発した。 従来の数学的モデルと専門的なモデルを構築し、同じタスクとデータのためのソルバコードを構築し、正確性と計算コストのベースラインを提供する。 結果として得られたEfficientOptベンチマークには、ペア化された参照実装を備えた561のエキスパートレビュータスクが含まれている。 11の代表的なLCMの評価は、同等の測定値で正しく解決されたタスクの効率ギャップを明らかにしている:全てのLSMに対して、ほとんどの生成されたプログラムは、専門家のプログラムよりも解決に時間がかかる。 比較可能な参照サイズサブセット内では、正しい目的値とより少ない変数と線形制約を持つプログラムの57\%が、より長いソルバ時間を記録している。 ケーススタディでは、異なるモデリング手法が類似したコストで同じ最適な値が得られることが示されている。 高速な解決は、コードがデータを作成してモデルを構築するのに長い時間を要する場合、実行時間を短縮しない。 したがって、LLM最適化モデリングは正確性と計算効率の両面で評価されるべきである。

関連論文リスト

• FrontierOR: Benchmarking LLMs' Capacity for Efficient Algorithm Design in Large-Scale Optimization [61.43300970020897]
  大規模言語モデル(LLM)は、最適化モデリングとソルバコード生成にますます使われている。 既存のベンチマークは、実際のスケールと複雑さよりもはるかに低い、小さな、あるいは単純化された例に限られている。 現実的な大規模最適化問題に対して,LLMに基づく効率的なアルゴリズム設計を評価するための最初のベンチマークとしてFrontierORを紹介した。
  論文  参考訳（メタデータ） (2026-05-24T20:10:42Z)
• OptiBench Meets ReSocratic: Measure and Improve LLMs for Optimization Modeling [62.19438812624467]
  大規模言語モデル (LLM) は数学的推論における問題解決能力を示した。 本稿では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるOptiBenchを提案する。
  論文  参考訳（メタデータ） (2024-07-13T13:27:57Z)
• Solving General Natural-Language-Description Optimization Problems with Large Language Models [34.50671063271608]
  外部ソルバでLLMを増強するOPtLLMという新しいフレームワークを提案する。 OptLLMは自然言語でユーザクエリを受け付け、それらを数学的定式化やプログラミングコードに変換し、解決者を呼び出して結果を計算する。 OptLLMフレームワークのいくつかの機能は、2023年6月から試用されている。
  論文  参考訳（メタデータ） (2024-07-09T07:11:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。