論文の概要: OptiBench Meets ReSocratic: Measure and Improve LLMs for Optimization Modeling

• arxiv url: http://arxiv.org/abs/2407.09887v2
• Date: Tue, 8 Oct 2024 16:27:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 21:54:45.656443
• Title: OptiBench Meets ReSocratic: Measure and Improve LLMs for Optimization Modeling
• Title（参考訳）: OptiBenchがReSocraticと会談 - 最適化モデリングのためのLLMの測定と改善
• Authors: Zhicheng Yang, Yiwei Wang, Yinya Huang, Zhijiang Guo, Wei Shi, Xiongwei Han, Liang Feng, Linqi Song, Xiaodan Liang, Jing Tang,
• Abstract要約: 大規模言語モデル (LLM) は数学的推論における問題解決能力を示した。 本稿では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるOptiBenchを提案する。
• 参考スコア（独自算出の注目度）: 62.19438812624467
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) have exhibited their problem-solving abilities in mathematical reasoning. Solving realistic optimization (OPT) problems in application scenarios requires advanced and applied mathematics ability. However, current OPT benchmarks that merely solve linear programming are far from complex realistic situations. In this work, we propose OptiBench, a benchmark for End-to-end optimization problem-solving with human-readable inputs and outputs. OptiBench contains rich optimization problems, including linear and nonlinear programming with or without tabular data, which can comprehensively evaluate LLMs' solving ability. In our benchmark, LLMs are required to call a code solver to provide precise numerical answers. Furthermore, to alleviate the data scarcity for optimization problems, and to bridge the gap between open-source LLMs on a small scale (e.g., Llama-3-8b) and closed-source LLMs (e.g., GPT-4), we further propose a data synthesis method namely ReSocratic. Unlike general data synthesis methods that proceed from questions to answers, \ReSocratic first incrementally synthesizes formatted optimization demonstration with mathematical formulations step by step and then back-translates the generated demonstrations into questions. Based on this, we synthesize the ReSocratic-29k dataset. We further conduct supervised fine-tuning with ReSocratic-29k on multiple open-source models. Experimental results show that ReSocratic-29k significantly improves the performance of open-source models.
• Abstract（参考訳）: 大規模言語モデル (LLM) は数学的推論における問題解決能力を示した。 応用シナリオにおける現実的な最適化(OPT)問題の解決には、高度な応用数学能力が必要である。 しかし、線形プログラミングを単に解くだけの現在のOPTベンチマークは、複雑な現実的な状況とは程遠い。 本研究では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるOptiBenchを提案する。 OptiBenchには、グラフデータの有無にかかわらず線形および非線形プログラミングを含む、リッチな最適化問題が含まれており、LLMの問題解決能力を総合的に評価することができる。 我々のベンチマークでは、LLMは正確な数値回答を提供するために、コードソルバを呼び出す必要がある。 さらに、最適化問題に対するデータの不足を軽減し、小規模(例えばLlama-3-8b)のオープンソースLLMとクローズドソースLLM(例えばGPT-4)のギャップを埋めるため、ReSocraticというデータ合成手法を提案する。 質問から回答へと進む一般的なデータ合成方法とは異なり、\ReSocratic はまず、数学的定式化によって形式化された最適化のデモを段階的に合成し、生成したデモを質問に逆変換する。 これに基づいて、ReSocratic-29kデータセットを合成する。 さらに,複数のオープンソースモデル上でReSocratic-29kによる微調整を行う。 実験の結果,ReSocratic-29kはオープンソースモデルの性能を著しく向上させることがわかった。

関連論文リスト

• LLM-based Optimization of Compound AI Systems: A Survey [64.39860384538338]
  複合AIシステムでは、LLMコール、レトリバー、コードインタプリタ、ツールなどのコンポーネントが相互接続される。 近年の進歩により, LLM を用いたパラメータのエンドツーエンド最適化が可能となった。 本稿では,複合AIシステムのLCMに基づく最適化の原理と動向について述べる。
  論文  参考訳（メタデータ） (2024-10-21T18:06:25Z)
• LLMOPT: Learning to Define and Solve General Optimization Problems from Scratch [16.174567164068037]
  最適化の一般化を促進するため,LLMOPTと呼ばれる統合学習ベースのフレームワークを提案する。 LLMOPTは、様々な最適化問題タイプを定義するための普遍モデルとして導入された5要素の定式化を構築している。 LLMOPTの最適化一般化能力を評価し,実世界の6つのデータセットを比較した。
  論文  参考訳（メタデータ） (2024-10-17T04:37:37Z)
• OptiMUS-0.3: Using Large Language Models to Model and Solve Optimization Problems at Scale [16.33736498565436]
  本稿では,Large Language Model (LLM) を用いた自然言語記述から線形プログラミング問題の定式化と解法を提案する。 本システムでは,数理モデルの開発,ソルバコードの記述とデバッグ,生成したソリューションの評価,モデルとコードの効率性と正確性の向上を実現している。 実験によると、OptiMUS-0.3は、簡単なデータセットで12%以上、ハードデータセットで8%以上、既存の最先端メソッドよりも優れています。
  論文  参考訳（メタデータ） (2024-07-29T01:31:45Z)
• Solving General Natural-Language-Description Optimization Problems with Large Language Models [34.50671063271608]
  外部ソルバでLLMを増強するOPtLLMという新しいフレームワークを提案する。 OptLLMは自然言語でユーザクエリを受け付け、それらを数学的定式化やプログラミングコードに変換し、解決者を呼び出して結果を計算する。 OptLLMフレームワークのいくつかの機能は、2023年6月から試用されている。
  論文  参考訳（メタデータ） (2024-07-09T07:11:10Z)
• OptiMUS: Scalable Optimization Modeling with (MI)LP Solvers and Large Language Models [21.519880445683107]
  本稿では,Large Language Model (LL)MベースのエージェントであるOptiMUSを紹介する。 OptiMUSは、数学的モデルを開発し、ソルバコードを書き、デバッグし、生成したソリューションを評価し、これらの評価に基づいてモデルとコードを改善することができる。 実験によると、OptiMUSは、簡単なデータセットで既存の最先端メソッドを20%以上、ハードデータセットで30%以上上回っている。
  論文  参考訳（メタデータ） (2024-02-15T18:19:18Z)
• OptiMUS: Optimization Modeling Using MIP Solvers and large language models [21.519880445683107]
  そこで我々は,Large Language Model (LLM) ベースのエージェントであるOptiMUSを紹介した。 エージェントをベンチマークするために,線形プログラミング(LP)と混合整数線形プログラミング(MILP)の新たなデータセットであるNLP4LPを提案する。 実験の結果,OptiMUS は基本的な LLM 促進戦略の約2倍の問題を解くことがわかった。
  論文  参考訳（メタデータ） (2023-10-09T19:47:03Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)
• Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
  最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。 この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
  論文  参考訳（メタデータ） (2021-03-23T20:46:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。