論文の概要: Step-Opt: Boosting Optimization Modeling in LLMs through Iterative Data Synthesis and Structured Validation

• arxiv url: http://arxiv.org/abs/2506.17637v1
• Date: Sat, 21 Jun 2025 08:42:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.520583
• Title: Step-Opt: Boosting Optimization Modeling in LLMs through Iterative Data Synthesis and Structured Validation
• Title（参考訳）: Step-Opt: 反復データ合成と構造化バリデーションによるLCMのブースティング最適化モデリング
• Authors: Yang Wu, Yifan Zhang, Yurong Wu, Yuran Wang, Junkai Zhang, Jian Cheng,
• Abstract要約: Step-Opt-Instructは、既存のデータセットを拡張し、最適化モデリングに適した高品質な微調整データを生成するフレームワークである。 LLaMA-3-8B や Mistral-7B などのオープンソース LLM を微調整し,NL4OPT,MAMO,IndustrialOR などのベンチマーク上で最先端のパフォーマンスを実現するStep-Opt-a モデルを開発した。
• 参考スコア（独自算出の注目度）: 18.18239596347168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have revolutionized various domains but encounter substantial challenges in tackling optimization modeling tasks for Operations Research (OR), particularly when dealing with complex problem. In this work, we propose Step-Opt-Instruct, a framework that augments existing datasets and generates high-quality fine-tuning data tailored to optimization modeling. Step-Opt-Instruct employs iterative problem generation to systematically increase problem complexity and stepwise validation to rigorously verify data, preventing error propagation and ensuring the quality of the generated dataset. Leveraging this framework, we fine-tune open-source LLMs, including LLaMA-3-8B and Mistral-7B, to develop Step-Opt--a model that achieves state-of-the-art performance on benchmarks such as NL4OPT, MAMO, and IndustryOR. Extensive experiments demonstrate the superior performance of Step-Opt, especially in addressing complex OR tasks, with a notable 17.01\% improvement in micro average accuracy on difficult problems. These findings highlight the effectiveness of combining structured validation with gradual problem refinement to advance the automation of decision-making processes using LLMs.The code and dataset are available at https://github.com/samwu-learn/Step.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な領域に革命をもたらしたが、特に複雑な問題に対処する際には、オペレーティング・リサーチ(OR)の最適化モデリングタスクに取り組む上で大きな課題に直面している。 本研究では,既存のデータセットを拡張し,最適化モデルに適した高品質な微調整データを生成するフレームワークであるStep-Opt-Instructを提案する。 Step-Opt-Instructでは、イテレーティブな問題生成を使用して、問題の複雑性を体系的に増加させ、データを厳格に検証し、エラーの伝搬を防止し、生成されたデータセットの品質を保証する。 このフレームワークを活用することで、LLaMA-3-8BやMistral-7Bを含むオープンソースLLMを微調整し、NL4OPT、MAMO、IndustrialORといったベンチマーク上で最先端のパフォーマンスを実現するStep-Opt-モデルを開発する。 大規模な実験は、特に複雑なORタスクに対処する上で、Step-Optの優れた性能を示しており、難しい問題に対するマイクロ平均精度が17.01\%向上している。 これらの結果は、構造化された検証と段階的な問題修正を組み合わせることで、LCMを用いた意思決定プロセスの自動化を促進する効果を強調しており、コードとデータセットはhttps://github.com/samwu-learn/Step.comで公開されている。

関連論文リスト

• Synthesis by Design: Controlled Data Generation via Structural Guidance [7.938713951512933]
  数学的推論から生成した問題解決コードを用いて構造情報を抽出する。 提案手法は,ラベル付き中間ステップと6.1K-problemベンチマークで39Kの問題を発生させる。 ベンチマークの結果,推論長の増加に伴いモデル性能が低下することが示された。
  論文  参考訳（メタデータ） (2025-06-09T11:38:23Z)
• OptMATH: A Scalable Bidirectional Data Synthesis Framework for Optimization Modeling [9.617742955894247]
  高品質な最適化モデリングデータセットの欠如は、大きな言語モデルを悩ませます。 本稿では,OptMATHという高品質なデータセットを合成するためのスケーラブルなフレームワークを提案する。 我々は,OptMATHでトレーニングした様々なサイズのモデルが,複数のモデリングベンチマークにおいて優れた結果が得られることを実証した。
  論文  参考訳（メタデータ） (2025-02-16T12:38:37Z)
• Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [61.99353167168545]
  LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。 微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• Enhancing Large Language Model Performance To Answer Questions and Extract Information More Accurately [2.1715455600756646]
  大きな言語モデル(LLM)は質問に対する応答を生成する。 それらの効果は、答えの最適でない品質や、質問に対する正確な回答を提供するための失敗によってしばしば妨げられる。 これらの課題に対処するため、モデルを改善するためのフィードバックやサンプルを含む、微調整プロセスが採用されている。
  論文  参考訳（メタデータ） (2024-01-27T00:18:07Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。