論文の概要: Solving General Natural-Language-Description Optimization Problems with Large Language Models
- arxiv url: http://arxiv.org/abs/2407.07924v1
- Date: Tue, 9 Jul 2024 07:11:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-12 21:58:43.547699
- Title: Solving General Natural-Language-Description Optimization Problems with Large Language Models
- Title(参考訳): 大規模言語モデルを用いた一般自然言語記述最適化問題の解法
- Authors: Jihai Zhang, Wei Wang, Siyan Guo, Li Wang, Fangquan Lin, Cheng Yang, Wotao Yin,
- Abstract要約: 外部ソルバでLLMを増強するOPtLLMという新しいフレームワークを提案する。
OptLLMは自然言語でユーザクエリを受け付け、それらを数学的定式化やプログラミングコードに変換し、解決者を呼び出して結果を計算する。
OptLLMフレームワークのいくつかの機能は、2023年6月から試用されている。
- 参考スコア(独自算出の注目度): 34.50671063271608
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Optimization problems seek to find the best solution to an objective under a set of constraints, and have been widely investigated in real-world applications. Modeling and solving optimization problems in a specific domain typically require a combination of domain knowledge, mathematical skills, and programming ability, making it difficult for general users and even domain professionals. In this paper, we propose a novel framework called OptLLM that augments LLMs with external solvers. Specifically, OptLLM accepts user queries in natural language, convert them into mathematical formulations and programming codes, and calls the solvers to calculate the results for decision-making. In addition, OptLLM supports multi-round dialogues to gradually refine the modeling and solving of optimization problems. To illustrate the effectiveness of OptLLM, we provide tutorials on three typical optimization applications and conduct experiments on both prompt-based GPT models and a fine-tuned Qwen model using a large-scale selfdeveloped optimization dataset. Experimental results show that OptLLM works with various LLMs, and the fine-tuned model achieves an accuracy boost compared to the promptbased models. Some features of OptLLM framework have been available for trial since June 2023 (https://opt.alibabacloud.com/chat or https://opt.aliyun.com/chat).
- Abstract(参考訳): 最適化問題は、一連の制約の下で目的に対する最良の解を見つけようとしており、現実世界のアプリケーションで広く研究されている。
特定のドメインにおける最適化問題のモデリングと解決には、通常、ドメイン知識、数学的スキル、プログラミング能力の組み合わせが必要である。
本稿では,LLMを外部解法で拡張するOPtLLMという新しいフレームワークを提案する。
具体的には、OptLLMは自然言語でユーザクエリを受け付け、それらを数学的定式化やプログラミングコードに変換し、解決者を呼び出して意思決定の結果を計算する。
さらに、OpsLLMは複数ラウンドの対話をサポートし、最適化問題のモデリングと解決を徐々に洗練する。
OptLLMの有効性を説明するために、我々は3つの典型的な最適化アプリケーションに関するチュートリアルを提供し、大規模自己開発最適化データセットを用いたプロンプトベースGPTモデルと微調整Qwenモデルの両方の実験を行う。
実験結果から, OptLLM は様々な LLM で動作することが示された。
OptLLMフレームワークのいくつかの機能は、2023年6月から試用されている(https://opt.alibabacloud.com/chat、https://opt.aliyun.com/chat)。
関連論文リスト
- Benchmarking LLMs for Optimization Modeling and Enhancing Reasoning via Reverse Socratic Synthesis [60.23133327001978]
大規模言語モデル(LLM)は、数学的推論においてその問題解決能力を示した。
本稿では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるE-OPTを提案する。
論文 参考訳(メタデータ) (2024-07-13T13:27:57Z) - Two Optimizers Are Better Than One: LLM Catalyst Empowers Gradient-Based Optimization for Prompt Tuning [69.95292905263393]
我々は,勾配に基づく最適化と大規模言語モデル(MsLL)が相互補完的であることを示し,協調的な最適化手法を提案する。
私たちのコードはhttps://www.guozix.com/guozix/LLM-catalystでリリースされています。
論文 参考訳(メタデータ) (2024-05-30T06:24:14Z) - Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [90.4820014819937]
本稿では,分布域外領域を積極的に探索するために,潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観的手法を提案する。
実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整すると,SELMは命令追従ベンチマークの性能を大幅に向上することがわかった。
論文 参考訳(メタデータ) (2024-05-29T17:59:07Z) - Large Language Model-Based Evolutionary Optimizer: Reasoning with
elitism [1.1463861912335864]
大規模言語モデル(LLM)は、顕著な推論能力を示している。
本稿では,LLMが様々なシナリオにまたがるゼロショット最適化能力を有していることを主張する。
LLMを用いた数値最適化手法を提案する。
論文 参考訳(メタデータ) (2024-03-04T13:57:37Z) - Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。
モデルパラメータ学習における2つの重要な要素を同定する。
特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
論文 参考訳(メタデータ) (2024-02-27T15:05:32Z) - OptiMUS: Scalable Optimization Modeling with (MI)LP Solvers and Large
Language Models [21.519880445683107]
本稿では,Large Language Model (LL)MベースのエージェントであるOptiMUSを紹介する。
OptiMUSは、数学的モデルを開発し、ソルバコードを書き、デバッグし、生成したソリューションを評価し、これらの評価に基づいてモデルとコードを改善することができる。
実験によると、OptiMUSは、簡単なデータセットで既存の最先端メソッドを20%以上、ハードデータセットで30%以上上回っている。
論文 参考訳(メタデータ) (2024-02-15T18:19:18Z) - CoLLiE: Collaborative Training of Large Language Models in an Efficient
Way [59.09824823710863]
CoLLiEは、大規模な言語モデルの協調トレーニングを容易にする効率的なライブラリである。
モジュール設計と包括的な機能により、CoLLiEは効率性、使いやすさ、カスタマイズのバランスのとれたブレンドを提供する。
論文 参考訳(メタデータ) (2023-12-01T08:02:16Z) - Global Optimization: A Machine Learning Approach [7.052596485478637]
Bertsimas と Ozturk (2023) は、ブラックボックスのグローバル最適化問題を解決する方法として OCTHaGOn を提案した。
我々は、他のMIO表現可能なMLモデルを用いて、元の問題を近似することで、このアプローチの拡張を提供する。
多くの場合において、ソリューションの実現可能性と最適性の改善を示す。
論文 参考訳(メタデータ) (2023-11-03T06:33:38Z) - OptiMUS: Optimization Modeling Using MIP Solvers and large language
models [21.519880445683107]
そこで我々は,Large Language Model (LLM) ベースのエージェントであるOptiMUSを紹介した。
エージェントをベンチマークするために,線形プログラミング(LP)と混合整数線形プログラミング(MILP)の新たなデータセットであるNLP4LPを提案する。
実験の結果,OptiMUS は基本的な LLM 促進戦略の約2倍の問題を解くことがわかった。
論文 参考訳(メタデータ) (2023-10-09T19:47:03Z) - Large Language Models as Optimizers [106.52386531624532]
本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。
各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。
OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
論文 参考訳(メタデータ) (2023-09-07T00:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。