論文の概要: NLData2Opt: Benchmarking Parameter Derivation and Prediction for Modeling Optimization Problems from Natural Language and Data

• arxiv url: http://arxiv.org/abs/2610.22889v1
• Date: Fri, 16 Oct 2026 03:43:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.757617
• Title: NLData2Opt: Benchmarking Parameter Derivation and Prediction for Modeling Optimization Problems from Natural Language and Data
• Title（参考訳）: NLData2Opt:自然言語とデータから最適化問題のモデル化のためのベンチマークパラメータの導出と予測
• Abstract要約: 問題記述とデータの生入力による最適化問題の定式化には時間と費用がかかる。 既存のベンチマークでは、すべてのデータが適切で完全な理想的な入力に頼ることで、その能力を過大評価している。 NLData2Optは,実用最適化に固有の多段階推論に基づくLCMの評価ベンチマークである。
• 参考スコア（独自算出の注目度）: 20.187346088015087
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Formulating optimization problems from raw inputs of problem descriptions and data is time-consuming and costly. While Large Language Models (LLMs) offer a promising way to automate this process, existing benchmarks overestimate their capabilities by relying on idealized inputs where all data is relevant and complete. This diverges from reality, where data-centric reasoning is required to extract, compute, and predict parameters from noisy sources. To address this, we introduce NLData2Opt, a benchmark to evaluate LLMs on the multi-stage reasoning inherent in practical optimization workflows. NLData2Opt decomposes problems into problem descriptions and data, and requires models to (1) extract relevant parameters from data containing misleading attributes, (2) compute missing parameters derived by transforming existing data attributes, and (3) predict unavailable future values from historical observations. Evaluation results show substantial performance decline relative to existing benchmarks, indicating that benchmark progress does not directly translate to formulation accuracy in practical optimization workflows. NLData2Opt is available at https://github.com/sumarivyn/NLData2Opt.
• Abstract（参考訳）: 問題記述とデータの生入力による最適化問題の定式化には時間と費用がかかる。 大規模言語モデル(LLM)は、このプロセスを自動化するための有望な方法を提供するが、既存のベンチマークは、すべてのデータが関連し完全である理想的な入力に頼ることによって、その能力を過大評価する。 これは、ノイズのあるソースからパラメータを抽出し、計算し、予測するために、データ中心の推論を必要とする現実から分岐する。 そこで本研究では,実用最適化ワークフローに固有の多段階推論に基づくLCMの評価ベンチマークであるNLData2Optを紹介する。 NLData2Optは問題を問題記述とデータに分解し,(1)誤解を招く属性を含むデータから関連するパラメータを抽出し,(2)既存のデータ属性を変換した欠落パラメータを計算し,(3)過去の観測から利用できない将来の値を予測するモデルを必要とする。 評価の結果,既存のベンチマークと比較して性能が著しく低下しており,実際の最適化ワークフローでは,ベンチマークの進捗が直接的に定式化の精度に変換されないことが示唆された。 NLData2Optはhttps://github.com/sumarivyn/NLData2Optで入手できる。

関連論文リスト

• Autocorrelated Optimize-via-Estimate: Predict-then-Optimize versus Finite-sample Optimal [2.0228793142608588]
  有限サンプル体制におけるアウト・オブ・サンプル性能を直接最適化するモデルは、従来の見積もりを最適化するアプローチに代わる有望な選択肢として現れてきた。 自動相関不確実性(特にベクトル自己回帰移動平均VARMA(p,q)プロセス)の文脈での性能を比較する。
  論文  参考訳（メタデータ） (2026-02-02T09:49:51Z)
• Efficient Conformance Checking of Rich Data-Aware Declare Specifications (Extended) [49.46686813437884]
  一般的なデータ型やデータ条件とリッチな設定で,データを考慮した最適アライメントを計算可能であることを示す。 これは、制御フローとデータ依存関係を扱うために、よく知られた2つのアプローチを慎重に組み合わせることで達成される。
  論文  参考訳（メタデータ） (2025-06-30T10:16:21Z)
• Maximally-Informative Retrieval for State Space Model Generation [59.954191072042526]
  テスト時に特定のクエリに対するモデル不確実性を最小化するために、Retrieval In-Context Optimization (RICO)を導入する。 文書検索に外部に依存した従来の検索強化生成(RAG)とは異なり,本手法はモデルから直接のフィードバックを利用する。 モデル勾配を用いた標準のトップ$kの検索は、最適化手順を近似し、残余損失への接続を提供することを示す。
  論文  参考訳（メタデータ） (2025-06-13T18:08:54Z)
• DUPRE: Data Utility Prediction for Efficient Data Valuation [49.60564885180563]
  Data Shapleyのような協調ゲーム理論に基づくデータ評価では、データユーティリティを評価し、複数のデータサブセットに対してMLモデルを再トレーニングする必要がある。 我々のフレームワークである textttDUPRE は、モデル再学習による評価ではなく、データユーティリティを予測することによって、サブセット評価当たりのコストを削減できる代替手法を採用しています。 具体的には、いくつかのデータサブセットのデータユーティリティを評価すると、textttDUPREは、他のすべてのデータサブセットの有用性を予測するために、emphGaussianプロセス(GP)回帰モデルに適合する。
  論文  参考訳（メタデータ） (2025-02-22T08:53:39Z)
• OptMATH: A Scalable Bidirectional Data Synthesis Framework for Optimization Modeling [9.617742955894247]
  高品質な最適化モデリングデータセットの欠如は、大きな言語モデルを悩ませます。 本稿では,OptMATHという高品質なデータセットを合成するためのスケーラブルなフレームワークを提案する。 我々は,OptMATHでトレーニングした様々なサイズのモデルが,複数のモデリングベンチマークにおいて優れた結果が得られることを実証した。
  論文  参考訳（メタデータ） (2025-02-16T12:38:37Z)
• Forecasting Outside the Box: Application-Driven Optimal Pointwise Forecasts for Stochastic Optimization [0.0]
  軽微な仮定の下では、この問題は一つのシナリオで解決できることを示します。 一般に最適なシナリオを見つけることは難しいが、文脈情報を用いた最適化問題では特に有用であることを示す。
  論文  参考訳（メタデータ） (2024-11-05T21:54:50Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• Model Inversion Networks for Model-Based Optimization [110.24531801773392]
  スコアから入力への逆写像を学習するモデル反転ネットワーク(MIN)を提案する。 MINは高次元の入力空間にスケールでき、コンテキスト最適化と非コンテキスト最適化の両方にオフラインログデータを利用する。 我々は,ベイズ最適化の文献から,画像やタンパク質の設計に対する高次元モデルベース最適化問題,ログデータからのコンテキスト的帯域最適化といったタスクのMINを評価した。
  論文  参考訳（メタデータ） (2019-12-31T18:06:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。