論文の概要: Automated Optimization Modeling via a Localizable Error-Driven Perspective
- arxiv url: http://arxiv.org/abs/2602.11164v1
- Date: Sat, 17 Jan 2026 09:59:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-15 14:54:53.714733
- Title: Automated Optimization Modeling via a Localizable Error-Driven Perspective
- Title(参考訳): ローカライズ可能なエラー駆動パースペクティブによる自動最適化モデリング
- Authors: Weiting Liu, Han Wu, Yufei Kuang, Xiongwei Han, Tao Zhong, Jianfeng Feng, Wenlian Lu,
- Abstract要約: 本稿では,自動最適化のための新しい誤り駆動学習フレームワークを提案する。
MINDはデータ合成からポストトレーニングまで、モデルトレーニングフレームワーク全体をカスタマイズした。
MINDは、最先端の自動化最適化モデリングアプローチを一貫して上回っている。
- 参考スコア(独自算出の注目度): 20.591721861026414
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automated optimization modeling via Large Language Models (LLMs) has emerged as a promising approach to assist complex human decision-making. While post-training has become a pivotal technique to enhance LLMs' capabilities in this domain, its effectiveness is severely constrained by the scarcity and underutilization of high-quality training data. However, through a detailed profiling of error patterns across various problem-response pairs drawn from post-training, we identify two fundamental limitations of existing automated optimization modeling approaches: (L1) the sparsity of error-specific problems and (L2) the sparse rewards associated with difficult problems. We demonstrate that these limitations can result in suboptimal performance in domain-specific post-training for LLMs. To tackle the above two limitations, we propose a novel error-driven learning framework -- namely, auto\textbf{m}ated opt\textbf{i}mization modeli\textbf{n}g via a localizable error-\textbf{d}riven perspective (MIND) -- that customizes the whole model training framework from data synthesis to post-training. MIND is based on our key observation of the unique localizable patterns in error propagation of optimization modelings, that is, modeling errors may remain localized to specific semantic segments and do not propagate throughout the entire solution. Thus, in contrast to holistic reasoning tasks such as mathematical proofs, MIND leverages the construction of a focused, high-density training corpus and proposes \textbf{D}ynamic Supervised \textbf{F}ine-Tuning \textbf{P}olicy \textbf{O}ptimization (DFPO) to tackle difficult problems through localized refinement. Experiments on six benchmarks demonstrate that MIND consistently outperforms all the state-of-the-art automated optimization modeling approaches.
- Abstract(参考訳): 大規模言語モデル(LLM)による自動最適化モデリングは、複雑な人間の意思決定を支援するための有望なアプローチとして現れている。
ポストトレーニングはこの領域でLLMの能力を高めるための重要な技術となっているが、その効果は高品質なトレーニングデータの不足と未利用によって厳しく制約されている。
しかし、ポストトレーニングから引き出された様々な問題応答ペア間のエラーパターンの詳細なプロファイリングにより、既存の自動最適化モデルアプローチの基本的な2つの限界を同定する。
これらの制限は、LLMのドメイン固有のポストトレーニングにおいて、最適以下の性能をもたらすことを実証する。
上記の2つの制限に対処するために、新しいエラー駆動学習フレームワーク - auto\textbf{m}ated opt\textbf{i}mization modeli\textbf{n}g をローカライズ可能なエラー-\textbf{d}riven perspective (MIND) を介して提案する。
MINDは、最適化モデリングのエラー伝播におけるユニークな局所化可能なパターンのキーとなる観察に基づいており、モデリングエラーは特定のセマンティックセグメントに局所化され、ソリューション全体を通して伝播しない可能性がある。
したがって、数学的な証明のような全体論的推論のタスクとは対照的に、MINDは集中した高密度のトレーニングコーパスの構築を活用し、局所的な洗練を通じて難しい問題に対処するために、局部的な洗練(英語版)による困難に対処するために \textbf{D}ynamic Supervised \textbf{F}ine-Tuning \textbf{P}olicy \textbf{O}ptimization (DFPO) を提案する。
6つのベンチマークの実験では、MINDは最先端の自動化最適化モデルアプローチを一貫して上回っている。
関連論文リスト
- Dual-Phase LLM Reasoning: Self-Evolved Mathematical Frameworks [48.105258051884384]
本稿では,モデルの自己補正能力を高めるための2段階トレーニングフレームワークを提案する。
最初の段階では、マルチターン対話戦略がモデルをガイドし、長いチェーン・オブ・シント(CoT)データを生成する。
第2段階では、データの分散を動的に最適化する難易度の高い拒絶サンプリング機構を採用している。
論文 参考訳(メタデータ) (2026-01-09T08:19:11Z) - CALM Before the STORM: Unlocking Native Reasoning for Optimization Modeling [60.55856973678002]
大規模推論モデル (LRM) は、複雑な多段階推論において強力な機能を示した。
既存のドメイン適応手法は、元々は命令調整モデル用に設計されていたが、現代のLEMの高度な推論パターンをうまく利用できなかった。
我々は、最適化モデリングタスクのためのネイティブ推論モード内でのLEMを段階的に洗練するフレームワークである textbfCALM を提案する。
論文 参考訳(メタデータ) (2025-10-05T13:38:31Z) - TCPO: Thought-Centric Preference Optimization for Effective Embodied Decision-making [75.29820290660065]
本稿では,効果的な具体的意思決定のための思考中心推論最適化(TCPO)を提案する。
モデルの中間的推論プロセスの整合性を強調し、モデル劣化の問題を緩和する。
ALFWorld環境での実験では、平均成功率は26.67%であり、RL4VLMよりも6%向上している。
論文 参考訳(メタデータ) (2025-09-10T11:16:21Z) - Automated Optimization Modeling through Expert-Guided Large Language Model Reasoning [43.63419208391747]
本稿では,最適化プロセスを自動化するチェーン・オブ・シント推論を通じて,専門家レベルの最適化モデリングの原則を活用する新しいフレームワークを提案する。
また、ロジスティクス領域からの新しい最適化モデリングベンチマークであるLogiORを導入し、標準化されたアノテーションに関するより複雑な問題を含む。
論文 参考訳(メタデータ) (2025-08-20T04:14:54Z) - Generalizing Large Language Model Usability Across Resource-Constrained [0.43512163406552007]
論文は、現実世界の制約下での大規模言語モデルを一般化するための体系的な研究である。
まず、LLMが多様なモダリティをシームレスに統合することを可能にする、堅牢なテキスト中心アライメントフレームワークを導入する。
マルチモーダル設定以外にも、この論文はLLMの推論時間最適化戦略を研究している。
論文 参考訳(メタデータ) (2025-05-13T01:00:12Z) - Learning Constrained Optimization with Deep Augmented Lagrangian Methods [54.22290715244502]
機械学習(ML)モデルは、制約付き最適化ソルバをエミュレートするために訓練される。
本稿では,MLモデルを用いて2つの解推定を直接予測する手法を提案する。
これにより、双対目的が損失関数であるエンドツーエンドのトレーニングスキームと、双対上昇法をエミュレートした原始的実現可能性への解推定を可能にする。
論文 参考訳(メタデータ) (2024-03-06T04:43:22Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳(メタデータ) (2021-03-18T14:26:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。