論文の概要: OptMATH: A Scalable Bidirectional Data Synthesis Framework for Optimization Modeling

• arxiv url: http://arxiv.org/abs/2502.11102v2
• Date: Fri, 21 Feb 2025 10:54:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 17:07:44.512077
• Title: OptMATH: A Scalable Bidirectional Data Synthesis Framework for Optimization Modeling
• Title（参考訳）: OptMATH:最適化モデリングのためのスケーラブルな双方向データ合成フレームワーク
• Authors: Hongliang Lu, Zhonglin Xie, Yaoyu Wu, Can Ren, Yuxuan Chen, Zaiwen Wen,
• Abstract要約: 高品質な最適化モデリングデータセットの欠如は、大きな言語モデルを悩ませます。 本稿では,OptMATHという高品質なデータセットを合成するためのスケーラブルなフレームワークを提案する。 我々は,OptMATHでトレーニングした様々なサイズのモデルが,複数のモデリングベンチマークにおいて優れた結果が得られることを実証した。
• 参考スコア（独自算出の注目度）: 9.617742955894247
• License:
• Abstract: Despite the rapid development of large language models (LLMs), a fundamental challenge persists: the lack of high-quality optimization modeling datasets hampers LLMs' robust modeling of practical optimization problems from natural language descriptions (NL). This data scarcity also contributes to the generalization difficulties experienced by learning-based methods. To address these challenges, we propose a scalable framework for synthesizing a high-quality dataset, named OptMATH. Starting from curated seed data with mathematical formulations (MF), this framework automatically generates problem data (PD) with controllable complexity. Then, a back-translation step is employed to obtain NL. To verify the correspondence between the NL and the PD, a forward modeling step followed by rejection sampling is used. The accepted pairs constitute the training part of OptMATH. Then a collection of rejected pairs is identified and further filtered. This collection serves as a new benchmark for optimization modeling, containing difficult instances whose lengths are much longer than these of NL4OPT and MAMO. Through extensive experiments, we demonstrate that models of various sizes (0.5B-32B parameters) trained on OptMATH achieve superior results on multiple modeling benchmarks, thereby validating the effectiveness and scalability of our approach. Our dataset is publicly available at https://github.com/AuroraLHL/OptMATH.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な開発にもかかわらず、基本的な課題は続く: 高品質な最適化モデリングデータセットの欠如は、LLMが自然言語記述(NL)から実用的な最適化問題の堅牢なモデリングを妨げている。 このデータ不足は、学習ベースの手法が経験する一般化の難しさにも寄与する。 これらの課題に対処するため,我々はOpsMATHという高品質なデータセットを合成するためのスケーラブルなフレームワークを提案する。 このフレームワークは、数学的定式化(MF)によるキュレートされたシードデータから始まり、制御可能な複雑性を持つ問題データ(PD)を自動的に生成する。 そして、逆翻訳ステップを用いてNLを得る。 NLとPDとの対応を検証するために、フォワードモデリングステップとリジェクションサンプリングを使用する。 受け入れられたペアは、OpsMATHのトレーニング部分を構成する。 その後、拒絶されたペアの集合が識別され、さらにフィルタされる。 このコレクションは最適化モデリングの新しいベンチマークとして機能し、NL4OPTやMAMOよりも長い長さの難しいインスタンスを含んでいる。 広範にわたる実験により, OptMATH で訓練された様々なサイズ (0.5B-32B パラメータ) のモデルが,複数のモデルベンチマークにおいて優れた結果が得られることを示した。 データセットはhttps://github.com/AuroraLHL/OptMATH.comで公開されています。

関連論文リスト

• iTool: Boosting Tool Use of Large Language Models via Iterative Reinforced Fine-Tuning [39.65877861652369]
  大規模な言語モデルを外部ツールで拡張することは、その能力を強化するための有望なアプローチである。 その結果, 合成データの増加に伴い, トレーニングは著しく低下することがわかった。 本稿では,これらの課題を軽減するために,反復的に強化された微調整戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-15T04:52:34Z)
• End-to-End Bangla AI for Solving Math Olympiad Problem Benchmark: Leveraging Large Language Model Using Integrated Approach [0.0]
  本研究は,Bangla AIの数学的課題に対処するために,大規模言語モデル(LLM)の体系的アプローチを導入する。 重要な発見は、カスタマイズされたプロンプト、データセット拡張、反復推論がモデルの効率を改善することを示している。
  論文  参考訳（メタデータ） (2025-01-08T11:18:36Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
  本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。 一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。 我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-04T13:39:21Z)
• Latent mixed-effect models for high-dimensional longitudinal data [6.103940626659986]
  LMM-VAEは,長手データに対するスケーラブルで解釈可能で識別可能なモデルである。 我々は,GPに基づく手法と理論的な関係を強調し,この手法の統一的な枠組みを提供する。
  論文  参考訳（メタデータ） (2024-09-17T09:16:38Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Towards Learning Stochastic Population Models by Gradient Descent [0.0]
  パラメータと構造を同時に推定することで,最適化手法に大きな課題が生じることを示す。 モデルの正確な推定を実証するが、擬似的、解釈可能なモデルの推論を強制することは、難易度を劇的に高める。
  論文  参考訳（メタデータ） (2024-04-10T14:38:58Z)
• Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
  我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。 LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。 LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-03-11T05:35:38Z)
• CURATRON: Complete and Robust Preference Data for Rigorous Alignment of Large Language Models [1.6339731044538859]
  本稿では,大規模言語モデルと人間の価値観を協調する上での課題について考察する。 本稿では,LLMのレジリエンスを高めるために,堅牢で悪意のあるAIパイプラインデータセットを提案する。
  論文  参考訳（メタデータ） (2024-03-05T07:58:12Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。