論文の概要: OptiMind: Teaching LLMs to Think Like Optimization Experts

• arxiv url: http://arxiv.org/abs/2509.22979v1
• Date: Fri, 26 Sep 2025 22:23:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:18.962094
• Title: OptiMind: Teaching LLMs to Think Like Optimization Experts
• Title（参考訳）: OptiMind: LLMに最適化の専門家のように考えるように教える
• Authors: Zeyi Chen, Xinzhi Zhang, Humishka Zope, Hugo Barbalho, Konstantina Mellou, Marco Molinaro, Janardhan Kulkarni, Ishai Menache, Sirui Li,
• Abstract要約: 我々は最適化の専門知識を体系的に統合し、混合整数線形プログラミングの定式化精度を向上させる。 提案手法はまず,クラスベースのエラー解析によってトレーニングデータをクリーン化する。 次に、クラス固有のエラーサマリとソルバフィードバックでLLMを誘導するマルチターン推論戦略を開発する。
• 参考スコア（独自算出の注目度）: 14.155402554740997
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mathematical programming -- the task of expressing operations and decision-making problems in precise mathematical language -- is fundamental across domains, yet remains a skill-intensive process requiring operations research expertise. Recent advances in large language models for complex reasoning have spurred interest in automating this task, translating natural language into executable optimization models. Current approaches, however, achieve limited accuracy, hindered by scarce and noisy training data without leveraging domain knowledge. In this work, we systematically integrate optimization expertise to improve formulation accuracy for mixed-integer linear programming, a key family of mathematical programs. Our approach first cleans training data through class-based error analysis to explicitly prevent common mistakes within each optimization class. We then develop multi-turn inference strategies that guide LLMs with class-specific error summaries and solver feedback, enabling iterative refinement. Experiments across multiple base LLMs demonstrate that combining cleaned data with domain-informed prompting and feedback improves formulation accuracy by 14 percentage points on average, enabling further progress toward robust LLM-assisted optimization formulation.
• Abstract（参考訳）: 演算と決定問題を正確に数学的言語で表現するタスクである数学的プログラミングは、ドメイン間で基本的だが、操作研究の専門知識を必要とするスキル集約的なプロセスのままである。 複雑な推論のための大規模言語モデルの最近の進歩は、自然言語を実行可能な最適化モデルに変換することで、このタスクの自動化への関心を喚起している。 しかし、現在のアプローチは、ドメイン知識を活用することなく、希少でノイズの多いトレーニングデータによって妨げられ、精度が制限されている。 本研究では,数理プログラムのキーファミリである混合整数線形プログラミングの定式化精度を向上させるため,最適化の専門知識を体系的に統合する。 提案手法はまず,クラスベースのエラー解析を通じてトレーニングデータをクリーン化し,各最適化クラス内の共通ミスを明示的に防止する。 次に、クラス固有のエラーサマリとソルバフィードバックでLLMを誘導するマルチターン推論戦略を開発し、反復的な改善を可能にした。 複数のLLM実験により、クリーンなデータとドメインインフォームドプロンプトとフィードバックを組み合わせることで、平均14ポイントのフォーミュレーション精度が向上し、堅牢なLLM支援最適化へのさらなる前進が期待できることが示された。

関連論文リスト

• LLM Post-Training: A Deep Dive into Reasoning Large Language Models [131.10969986056]
  大規模言語モデル (LLMs) は自然言語処理の状況を変え、多様な応用をもたらした。 ポストトレーニング手法により、LLMは知識を洗練させ、推論を改善し、事実の正確性を高め、ユーザの意図や倫理的配慮をより効果的に整合させることができる。
  論文  参考訳（メタデータ） (2025-02-28T18:59:54Z)
• Autoformulation of Mathematical Optimization Models Using LLMs [50.030647274271516]
  本稿では,自然言語問題記述から解法対応最適化モデルを自動生成する,$textitautoformulation$の問題にアプローチする。 オートフォーミュレーションの3つの主要な課題を識別する: $textit(1)$ 巨大で問題に依存した仮説空間、および$textit(2)$ 不確実性の下でこの空間を効率的かつ多様に探索する。 我々は,$textitLarge Language Models$と$textitMonte-Carlo Tree Search$を併用した新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-03T20:41:38Z)
• Non-myopic Generation of Language Models for Reasoning and Planning [45.75146679449453]
  本稿では,モデル予測制御を利用した予測復号化手法を提案する。 我々の実験では、数学、コーディング、エージェントの幅広いタスクにおいて、大幅な改善が示されている。
  論文  参考訳（メタデータ） (2024-10-22T17:13:38Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• Language Models for Business Optimisation with a Real World Case Study in Production Scheduling [3.224702011999591]
  大規模言語モデル (LLM) は、様々な言語関連タスクにまたがる卓越した性能を示している。 ビジネス最適化における問題定式化を自動化するためのLLMベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-22T23:45:21Z)
• A Survey of Contextual Optimization Methods for Decision Making under Uncertainty [47.73071218563257]
  この記事では、データからポリシーを学ぶための3つの主要なフレームワークを特定し、その強みと限界について論じる。 統一的な表記と用語の下で既存のモデルとメソッドを示し、これらを3つの主要なフレームワークに従って分類する。
  論文  参考訳（メタデータ） (2023-06-17T15:21:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。