論文の概要: Teaching LLMs to Think Mathematically: A Critical Study of Decision-Making via Optimization

• arxiv url: http://arxiv.org/abs/2508.18091v1
• Date: Mon, 25 Aug 2025 14:52:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.827649
• Title: Teaching LLMs to Think Mathematically: A Critical Study of Decision-Making via Optimization
• Title（参考訳）: LLMに数学的思考を教える:最適化による意思決定の批判的研究
• Authors: Mohammad J. Abdel-Rahman, Yasmeen Alslman, Dania Refai, Amro Saleh, Malik A. Abu Loha, Mohammad Yahya Hamed,
• Abstract要約: 本稿では,大規模言語モデル(LLM)の数学的プログラミングによる意思決定問題の定式化と解決能力について検討する。 まず、LLMがドメイン間の最適化問題をいかに理解し、構造化し、解決するかを評価するため、最近の文献の体系的レビューとメタ分析を行う。 計算機ネットワークにおける問題に対する最適化モデルの自動生成において、最先端のLLMの性能を評価するために設計されたターゲット実験により、系統的エビデンスを補完する。
• 参考スコア（独自算出の注目度）: 1.246870021158888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates the capabilities of large language models (LLMs) in formulating and solving decision-making problems using mathematical programming. We first conduct a systematic review and meta-analysis of recent literature to assess how well LLMs understand, structure, and solve optimization problems across domains. The analysis is guided by critical review questions focusing on learning approaches, dataset designs, evaluation metrics, and prompting strategies. Our systematic evidence is complemented by targeted experiments designed to evaluate the performance of state-of-the-art LLMs in automatically generating optimization models for problems in computer networks. Using a newly constructed dataset, we apply three prompting strategies: Act-as-expert, chain-of-thought, and self-consistency, and evaluate the obtained outputs based on optimality gap, token-level F1 score, and compilation accuracy. Results show promising progress in LLMs' ability to parse natural language and represent symbolic formulations, but also reveal key limitations in accuracy, scalability, and interpretability. These empirical gaps motivate several future research directions, including structured datasets, domain-specific fine-tuning, hybrid neuro-symbolic approaches, modular multi-agent architectures, and dynamic retrieval via chain-of-RAGs. This paper contributes a structured roadmap for advancing LLM capabilities in mathematical programming.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)の数学的プログラミングによる意思決定問題の定式化と解決能力について検討する。 まず、LLMがドメイン間の最適化問題をいかに理解し、構造化し、解決するかを評価するため、最近の文献の体系的レビューとメタ分析を行う。 この分析は、学習アプローチ、データセット設計、評価指標、迅速な戦略に焦点を当てた批判的なレビューの質問によって導かれる。 計算機ネットワークにおける問題に対する最適化モデルの自動生成において、最先端のLLMの性能を評価するために設計されたターゲット実験により、系統的エビデンスを補完する。 新たに構築したデータセットを用いて、アクト・アズ・サート、チェーン・オブ・プリート、自己整合性の3つのプロンプト戦略を適用し、最適性ギャップ、トークンレベルのF1スコア、コンパイル精度に基づいて、得られたアウトプットを評価する。 結果は,LLMが自然言語を解析し,記号の定式化を表現する能力の進歩を示すとともに,精度,拡張性,解釈可能性において重要な限界を明らかにする。 これらの経験的ギャップは、構造化データセット、ドメイン固有の微調整、ハイブリッドニューロシンボリックアプローチ、モジュラーマルチエージェントアーキテクチャ、連鎖RAGによる動的検索など、将来の研究方向性を動機付けている。 本稿では,数学的プログラミングにおけるLLM機能向上のための構造化ロードマップを提案する。

関連論文リスト

• Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
  本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。 古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。 コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
  論文  参考訳（メタデータ） (2025-07-21T10:52:14Z)
• Enhancing Large Language Models through Structured Reasoning [15.472375478049823]
  本稿では,Large Language Models (LLM) を明示的構造化推論により拡張する新しい手法を提案する。 まず、非構造化データを明示的に推論ステップをアノテートすることで構造化形式に変換する。 次に、この構造化データセットを使用して、監視ファインチューニング(SFT)を通してLLMをトレーニングする。
  論文  参考訳（メタデータ） (2025-06-25T08:36:12Z)
• A Survey on Mathematical Reasoning and Optimization with Large Language Models [0.5439020425819]
  大規模言語モデル(LLM)の最近の進歩は、AIによる数学的推論、定理証明、最適化技術を大幅に改善している。 この調査は、AIにおける数学的問題解決の進化を、初期の統計的学習アプローチから近代的なディープラーニングやトランスフォーマーに基づく方法論まで調査する。
  論文  参考訳（メタデータ） (2025-03-22T10:49:32Z)
• Applications of Large Language Model Reasoning in Feature Generation [0.0]
  大規模言語モデル(LLM)は、その技術推論能力を通じて自然言語処理に革命をもたらした。 本稿では,LLM推論手法の収束と,機械学習タスクの機能生成について考察する。 本論文は、金融、医療、テキスト分析など、さまざまな分野にまたがるLLMベースの特徴生成手法を分類する。
  論文  参考訳（メタデータ） (2025-03-15T04:18:01Z)
• Systematic Analysis of LLM Contributions to Planning: Solver, Verifier, Heuristic [6.687149103409949]
  大規模言語モデル(LLM)が計画問題の解決にどのように貢献するかを系統的に分析する。 解析の結果,LLMは最適計画を生成するのが難しいが,中間/不完全解に対してフィードバック信号を提供するのがはるかに優れていることがわかった。
  論文  参考訳（メタデータ） (2024-12-12T18:16:46Z)
• On the Design and Analysis of LLM-Based Algorithms [74.7126776018275]
  大規模言語モデル(LLM)はアルゴリズムのサブルーチンとして使用される。 LLMは素晴らしい経験的成功を収めた。 提案フレームワークは,LLMアルゴリズムの進歩を約束する。
  論文  参考訳（メタデータ） (2024-07-20T07:39:07Z)
• Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
  我々は、教師付き微調整(SFT)の一般的な方法論を含む、文献の体系的なレビューを行う。 また、既存の戦略の欠陥を指摘しながら、SFTの潜在的な落とし穴についても、それに対する批判とともに検討する。
  論文  参考訳（メタデータ） (2023-08-21T15:35:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。