論文の概要: LLMOPT: Learning to Define and Solve General Optimization Problems from Scratch

• arxiv url: http://arxiv.org/abs/2410.13213v1
• Date: Thu, 17 Oct 2024 04:37:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:21:12.438060
• Title: LLMOPT: Learning to Define and Solve General Optimization Problems from Scratch
• Title（参考訳）: LLMOPT: Scratchから一般的な最適化問題の定義と解決を学ぶ
• Authors: Caigao Jiang, Xiang Shu, Hong Qian, Xingyu Lu, Jun Zhou, Aimin Zhou, Yang Yu,
• Abstract要約: 最適化の一般化を促進するため,LLMOPTと呼ばれる統合学習ベースのフレームワークを提案する。 LLMOPTは、様々な最適化問題タイプを定義するための普遍モデルとして導入された5要素の定式化を構築している。 LLMOPTの最適化一般化能力を評価し,実世界の6つのデータセットを比較した。
• 参考スコア（独自算出の注目度）: 16.174567164068037
• License:
• Abstract: Optimization problems are prevalent across various scenarios. Formulating and then solving optimization problems described by natural language often requires highly specialized human expertise, which could block the widespread application of optimization-based decision making. To make problem formulating and solving automated, leveraging large language models (LLMs) has emerged as a potential way. However, this kind of way suffers from the issue of optimization generalization. Namely, the accuracy of most current LLM-based methods and the generality of optimization problem types that they can model are still limited. In this paper, we propose a unified learning-based framework called LLMOPT to boost optimization generalization. Starting from the natural language descriptions of optimization problems and a pre-trained LLM, LLMOPT constructs the introduced five-element formulation as a universal model for learning to define diverse optimization problem types. Then, LLMOPT employs the multi-instruction tuning to enhance both problem formalization and solver code generation accuracy and generality. After that, to prevent hallucinations in LLMs, such as sacrificing solving accuracy to avoid execution errors, model alignment and self-correction mechanism are adopted in LLMOPT. We evaluate the optimization generalization ability of LLMOPT and compared methods across six real-world datasets covering roughly 20 fields such as health, environment, energy and manufacturing, etc. Extensive experiment results show that LLMOPT is able to model various optimization problem types such as linear/nonlinear programming, mixed integer programming and combinatorial optimization, and achieves a notable 11.08% average solving accuracy improvement compared with the state-of-the-art methods. The code is available at https://github.com/caigaojiang/LLMOPT.
• Abstract（参考訳）: 最適化問題は様々なシナリオにまたがっている。 自然言語で記述された最適化問題の定式化と解法は、しばしば高度に専門的な人間の専門知識を必要とし、最適化に基づく意思決定の広範な適用を阻害する可能性がある。 問題の定式化と解決を自動化するために、大きな言語モデル(LLM)を活用することが潜在的な方法として浮上した。 しかし、このような方法は最適化の一般化の問題に悩まされている。 すなわち、現在の LLM ベースの手法の精度と、それらがモデル化できる最適化問題型の一般化は依然として限られている。 本稿では,最適化の最適化を促進するため,LLMOPTと呼ばれる統合学習ベースのフレームワークを提案する。 LLMOPTは、最適化問題の自然言語記述と事前訓練されたLLMから始まり、導入した5要素の定式化を、多様な最適化問題タイプを定義するための普遍的なモデルとして構築する。 そして、LLMOPTはマルチインストラクションチューニングを用いて、問題の形式化とソルバコード生成の精度と一般化を両立させる。 その後、LLMOPTでは、実行エラーを回避するために解決精度を犠牲にしたり、モデルアライメントや自己補正機構を取り入れたりといったLCMの幻覚を防止する。 LLMOPTの最適化一般化能力を評価し,健康・環境・エネルギー・製造など約20分野をカバーする6つの実世界のデータセットを比較した。 その結果、LLMOPTは線形/非線形プログラミング、混合整数プログラミング、組合せ最適化といった様々な最適化問題をモデル化でき、最先端の手法と比較して11.08%の平均解法精度の改善を達成できることがわかった。 コードはhttps://github.com/caigaojiang/LLMOPTで公開されている。

関連論文リスト

• Learning Joint Models of Prediction and Optimization [56.04498536842065]
  Predict-Then-Thenフレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。 本稿では,共同予測モデルを用いて観測可能特徴から最適解を直接学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-07T19:52:14Z)
• Search-Based LLMs for Code Optimization [16.843870288512363]
  開発者によって書かれたコードは、通常効率上の問題に悩まされ、様々なパフォーマンス上のバグを含んでいる。 最近の研究は、タスクをシーケンス生成問題とみなし、大規模言語モデル(LLM)のようなディープラーニング(DL)技術を活用している。 改良された最適化手法の反復的洗練と発見を可能にする,SBLLM という検索ベース LLM フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-22T06:59:46Z)
• OptiBench Meets ReSocratic: Measure and Improve LLMs for Optimization Modeling [62.19438812624467]
  大規模言語モデル (LLM) は数学的推論における問題解決能力を示した。 本稿では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるOptiBenchを提案する。
  論文  参考訳（メタデータ） (2024-07-13T13:27:57Z)
• Solving General Natural-Language-Description Optimization Problems with Large Language Models [34.50671063271608]
  外部ソルバでLLMを増強するOPtLLMという新しいフレームワークを提案する。 OptLLMは自然言語でユーザクエリを受け付け、それらを数学的定式化やプログラミングコードに変換し、解決者を呼び出して結果を計算する。 OptLLMフレームワークのいくつかの機能は、2023年6月から試用されている。
  論文  参考訳（メタデータ） (2024-07-09T07:11:10Z)
• Iterative or Innovative? A Problem-Oriented Perspective for Code Optimization [81.88668100203913]
  大規模言語モデル(LLM)は、幅広いプログラミングタスクを解く上で強力な能力を示している。 本稿では,パフォーマンス向上に着目したコード最適化について検討する。
  論文  参考訳（メタデータ） (2024-06-17T16:10:10Z)
• LLaMoCo: Instruction Tuning of Large Language Models for Optimization Code Generation [26.975412742800614]
  我々はLLaMoCoを紹介した。LLaMoCoは、大規模言語モデルをコード・コード方式で最適化問題を解くために設計した最初の命令チューニングフレームワークである。 具体的には、よく記述された問題プロンプトと効果的な最適化コードを含む包括的命令セットを確立する。 LLaMoCoにより微調整された CodeGen (350M) モデルでは, GPT-4 Turbo よりも優れた最適化性能が得られた。
  論文  参考訳（メタデータ） (2024-03-02T08:21:59Z)
• Predict-Then-Optimize by Proxy: Learning Joint Models of Prediction and Optimization [59.386153202037086]
  Predict-Then-フレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。 このアプローチは非効率であり、最適化ステップを通じてバックプロパゲーションのための手作りの、問題固有のルールを必要とする。 本稿では,予測モデルを用いて観測可能な特徴から最適解を直接学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T01:32:06Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。