論文の概要: Autoformulation of Mathematical Optimization Models Using LLMs
- arxiv url: http://arxiv.org/abs/2411.01679v2
- Date: Thu, 05 Jun 2025 14:26:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-07 10:49:29.263577
- Title: Autoformulation of Mathematical Optimization Models Using LLMs
- Title(参考訳): LLMを用いた数理最適化モデルの自動生成
- Authors: Nicolás Astorga, Tennison Liu, Yuanzhang Xiao, Mihaela van der Schaar,
- Abstract要約: 本稿では,自然言語問題記述から解法対応最適化モデルを自動生成する,$textitautoformulation$の問題にアプローチする。
オートフォーミュレーションの3つの主要な課題を識別する: $textit(1)$ 巨大で問題に依存した仮説空間、および$textit(2)$ 不確実性の下でこの空間を効率的かつ多様に探索する。
我々は,$textitLarge Language Models$と$textitMonte-Carlo Tree Search$を併用した新しい手法を提案する。
- 参考スコア(独自算出の注目度): 50.030647274271516
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mathematical optimization is fundamental to decision-making across diverse domains, from operations research to healthcare. Yet, translating real-world problems into optimization models remains a difficult task, often demanding specialized expertise. This paper approaches the problem of $\textit{autoformulation}$: the automated creation of solver-ready optimization models from natural language problem descriptions. We identify three core challenges of autoformulation: $\textit{(1)}$ the vast, problem-dependent hypothesis space, $\textit{(2)}$ efficient and diverse exploration of this space under uncertainty, and $\textit{(3)}$ evaluation of formulation correctness against problem description. To address these challenges, we present a novel method leveraging $\textit{Large Language Models}$ (LLMs) with $\textit{Monte-Carlo Tree Search}$, exploiting the hierarchical nature of optimization modeling to generate and systematically explore possible formulations. To enhance search efficiency, we introduce symbolic pruning to eliminate trivially equivalent search paths (branches), and employ LLM-based evaluation of partial formulations to guide search. Empirical analysis on linear and mixed-integer programming benchmarks demonstrates our method's effectiveness, with significant performance gains from both LLM-based value estimation and symbolic pruning techniques.
- Abstract(参考訳): 数学的最適化は、オペレーション研究から医療まで、さまざまな領域にわたる意思決定に不可欠である。
しかし、現実世界の問題を最適化モデルに翻訳することは難しい課題であり、しばしば専門的な専門知識を必要とする。
本稿では,自然言語問題記述から解法対応最適化モデルを自動生成する,$\textit{autoformulation}$の問題にアプローチする。
オートフォーミュレーションの3つの主要な課題を識別する: $\textit{(1)}$ 巨大で問題に依存した仮説空間、$\textit{(2)}$ 不確実性の下でのこの空間の効率的かつ多様な探索、$\textit{(3)}$ 問題記述に対する定式化の正しさの評価。
これらの課題に対処するために,$\textit{Large Language Models}$ (LLMs)と$\textit{Monte-Carlo Tree Search}$を併用した新しい手法を提案する。
探索効率を向上させるため,自明に等価な探索経路(ブランチ)を排除し,LLMによる部分的定式化の評価を用いて探索をガイドする。
線形および混合整数型プログラミングベンチマークの実証解析により,LLMに基づく値推定とシンボリックプルーニングの両手法による顕著な性能向上が得られた。
関連論文リスト
- OptimAI: Optimization from Natural Language Using LLM-Powered AI Agents [8.441638148384389]
自然言語で記述された下線最適化問題を解くためのフレームワークである textbfOptimAI を紹介する。
本フレームワークは,(1) アンフフォーマレータ,(2) アンフプランナー,(3) エンプコーダ,およびエンプコード評論家の4つの重要な役割に基づいて構築されている。
NLP4LPデータセットでは88.1%の精度で、Optibenchサブセットでは71.2%の精度でエラー率を58%と50%減らしている。
論文 参考訳(メタデータ) (2025-04-23T17:45:05Z) - EquivaMap: Leveraging LLMs for Automatic Equivalence Checking of Optimization Formulations [12.962019992859531]
2つの最適化定式化が等価であるかどうかを決定するための公式な基準である準カルプ同値を導入する。
本研究では,大規模な言語モデルを利用して,そのようなマッピングを自動的に検出するフレームワークであるEquivaMapを提案する。
論文 参考訳(メタデータ) (2025-02-20T17:35:32Z) - LLMOPT: Learning to Define and Solve General Optimization Problems from Scratch [16.174567164068037]
最適化の一般化を促進するため,LLMOPTと呼ばれる統合学習ベースのフレームワークを提案する。
LLMOPTは、様々な最適化問題タイプを定義するための普遍モデルとして導入された5要素の定式化を構築している。
LLMOPTの最適化一般化能力を評価し,実世界の6つのデータセットを比較した。
論文 参考訳(メタデータ) (2024-10-17T04:37:37Z) - Learning Joint Models of Prediction and Optimization [56.04498536842065]
Predict-Then-Thenフレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。
本稿では,共同予測モデルを用いて観測可能特徴から最適解を直接学習する手法を提案する。
論文 参考訳(メタデータ) (2024-09-07T19:52:14Z) - Search-Based LLMs for Code Optimization [16.843870288512363]
開発者によって書かれたコードは、通常効率上の問題に悩まされ、様々なパフォーマンス上のバグを含んでいる。
最近の研究は、タスクをシーケンス生成問題とみなし、大規模言語モデル(LLM)のようなディープラーニング(DL)技術を活用している。
改良された最適化手法の反復的洗練と発見を可能にする,SBLLM という検索ベース LLM フレームワークを提案する。
論文 参考訳(メタデータ) (2024-08-22T06:59:46Z) - Solving General Natural-Language-Description Optimization Problems with Large Language Models [34.50671063271608]
外部ソルバでLLMを増強するOPtLLMという新しいフレームワークを提案する。
OptLLMは自然言語でユーザクエリを受け付け、それらを数学的定式化やプログラミングコードに変換し、解決者を呼び出して結果を計算する。
OptLLMフレームワークのいくつかの機能は、2023年6月から試用されている。
論文 参考訳(メタデータ) (2024-07-09T07:11:10Z) - MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
MindStarは、大言語モデルの純粋に推論に基づく探索手法である。
推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。
Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
論文 参考訳(メタデータ) (2024-05-25T15:07:33Z) - End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳(メタデータ) (2024-02-12T16:33:35Z) - AI-Copilot for Business Optimisation: A Framework and A Case Study in
Production Scheduling [3.522755287096529]
ビジネス最適化問題定式化のためのAI-Copilotを提案する。
トークンの制限については、モジュール化を導入し、エンジニアリング技術を推進します。
問題定式化の精度と品質を評価するのに適した性能評価指標を設計する。
論文 参考訳(メタデータ) (2023-09-22T23:45:21Z) - SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。
我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。
我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-05-16T17:55:51Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳(メタデータ) (2023-01-28T01:50:42Z) - Efficient Learning of Decision-Making Models: A Penalty Block Coordinate
Descent Algorithm for Data-Driven Inverse Optimization [12.610576072466895]
我々は、意思決定プロセスを明らかにするために、事前の意思決定データを使用する逆問題を考える。
この統計的学習問題は、データ駆動逆最適化と呼ばれる。
そこで本稿では,大規模問題を解くために,効率的なブロック座標降下に基づくアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-10-27T12:52:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。