論文の概要: LLMs for Mathematical Modeling: Towards Bridging the Gap between Natural and Mathematical Languages

• arxiv url: http://arxiv.org/abs/2405.13144v3
• Date: Sat, 15 Feb 2025 13:45:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:06:53.539202
• Title: LLMs for Mathematical Modeling: Towards Bridging the Gap between Natural and Mathematical Languages
• Title（参考訳）: 数学的モデリングのためのLLM:自然言語と数学言語のギャップを埋めることを目指して
• Authors: Xuhan Huang, Qingning Shen, Yan Hu, Anningzhe Gao, Benyou Wang,
• Abstract要約: 大規模言語モデル (LLM) は様々な自然言語処理タスクにおいて高い性能を示している。 しかし、数学的推論の習熟度は依然として重要な課題である。 LLMの数学的モデル構築能力を評価するためのプロセス指向フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 14.04286044600141
• License:
• Abstract: Large Language Models (LLMs) have demonstrated strong performance across various natural language processing tasks, yet their proficiency in mathematical reasoning remains a key challenge. Addressing the gap between natural and mathematical language requires advanced reasoning capabilities, approaching those of Artificial General Intelligence (AGI). However, the evaluation remains challenging, as perfectly representing reality is inherently elusive, and traditional methods like manual or direct comparison of mathematical statements (Ramamonjison et al., 2023) are insufficient for assessing true modeling ability. We propose a process-oriented framework to evaluate LLMs' ability to construct mathematical models, using solvers to compare outputs with ground truth. Introducing Mamo, a benchmark with 1,209 questions covering ordinary differential equations, linear programming, and mixed-integer linear programming, we enable automatic evaluation of modeling accuracy. The results show that existing LLMs struggle with complex mathematical modeling tasks, with larger models demonstrating superior performance, while open-source models remain competitive in simpler cases but still fall short of proprietary models in more challenging problems.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、様々な自然言語処理タスクにおいて高い性能を示してきたが、数学的推論の習熟度は依然として重要な課題である。 自然言語と数学言語のギャップに対処するには高度な推論能力が必要であり、人工知能(AGI)に接近する。 しかし, 真のモデリング能力を評価するには, 数学文のマニュアルや直接比較(Ramamonjison et al , 2023)のような従来の手法が不十分であるため, その評価は依然として困難である。 本研究では,LLMの数学的モデル構築能力を評価するためのプロセス指向フレームワークを提案する。 一般微分方程式,線形計画法,混合整数線形計画法に関する1,209問のベンチマークであるMamoの導入により,モデリング精度の自動評価が可能となった。 その結果、既存のLLMは複雑な数学的モデリングタスクに苦労し、より大きなモデルは優れた性能を示し、一方、オープンソースモデルはより単純なケースでは競合するが、より困難な問題ではプロプライエタリなモデルには及ばないことが明らかとなった。

関連論文リスト

• MathFimer: Enhancing Mathematical Reasoning by Expanding Reasoning Steps through Fill-in-the-Middle Task [49.355810887265925]
  数学的推論ステップ拡張のための新しいフレームワークであるMathFimerを紹介する。 我々は、慎重にキュレートしたNuminaMath-FIMデータセットに基づいて、特殊モデルMathFimer-7Bを開発した。 次に、これらのモデルを適用して、解鎖に詳細な中間ステップを挿入することで、既存の数学的推論データセットを強化する。
  論文  参考訳（メタデータ） (2025-02-17T11:22:24Z)
• Mathematical Reasoning in Large Language Models: Assessing Logical and Arithmetic Errors across Wide Numerical Ranges [0.0]
  GSM-Rangesは、数学問題における数値を体系的に摂動させ、様々な数値スケールでモデルロバスト性を評価するデータセットジェネレータである。 また,論理的誤りと非論理的誤りを区別し,推論過程を計算精度以上の精度で評価する手法を提案する。
  論文  参考訳（メタデータ） (2025-02-12T09:53:10Z)
• Large Language Models for Mathematical Analysis [3.7325315394927023]
  この研究は、数学的推論における重要なギャップに対処し、信頼できるAIの進歩に寄与する。 DEMI-MathAnalysisデータセットを開発した。 また,LLMの問題解決能力を高めるためのガイドフレームワークも設計した。
  論文  参考訳（メタデータ） (2024-12-28T20:37:55Z)
• Small Language Models are Equation Reasoners [2.424910201171407]
  CoT(Chain-of-Thought)推論により、算術的問題解決を含む様々なNLPタスクにおいて、LLM(Large Language Model)が顕著な性能を達成できるようになった。 しかし、この成功はT5のような小さな言語モデル(sLM)に一般化しない。 知識蒸留によるsLMの高度化に向けた最近の研究は、いくつかの改善をもたらしたが、依然として重大な限界に直面している。
  論文  参考訳（メタデータ） (2024-09-19T01:34:43Z)
• Benchmarking Large Language Models for Math Reasoning Tasks [12.91916443702145]
  我々は、4つの強力な基礎モデル上の5つの広く使われている数学的データセットの数学的問題解決のための、最先端の文脈内学習アルゴリズムを7つ比較した。 以上の結果から, GPT-4o や LLaMA 3-70B のような大規模基盤モデルでは, 具体的なプロンプト戦略とは独立に数学的推論を解くことが可能であることが示唆された。 将来の研究で追加モデルの統合をサポートするために、ベンチマークコードをオープンソースにしています。
  論文  参考訳（メタデータ） (2024-08-20T13:34:17Z)
• Assessing the Emergent Symbolic Reasoning Abilities of Llama Large Language Models [47.129504708849446]
  大規模言語モデル(LLM)は、幅広いタスクにおいて印象的なパフォーマンスを達成する。 LLMは数学的推論ベンチマークにおいて創発的な能力を示す。 我々は,Llama 2ファミリーの3つのモデルについて,異なるシンボリック推論タスクで評価した。
  論文  参考訳（メタデータ） (2024-06-05T12:22:43Z)
• MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
  MindStarは、大言語モデルの純粋に推論に基づく探索手法である。 推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
  論文  参考訳（メタデータ） (2024-05-25T15:07:33Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• Evaluating Language Models for Mathematics through Interactions [116.67206980096513]
  大型言語モデル(LLM)と対話し,評価するためのプロトタイププラットフォームであるCheckMateを紹介した。 我々はCheckMateと共同で3つの言語モデル(InstructGPT, ChatGPT, GPT-4)を、学部レベルの数学の証明支援として評価する研究を行った。 我々は、人間の行動の分類を導き、概して肯定的な相関にもかかわらず、正しさと知覚的有用性の間に顕著な相違点があることを明らかにする。
  論文  参考訳（メタデータ） (2023-06-02T17:12:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。