論文の概要: CoMAT: Chain of Mathematically Annotated Thought Improves Mathematical Reasoning
- arxiv url: http://arxiv.org/abs/2410.10336v1
- Date: Mon, 14 Oct 2024 09:48:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-29 22:14:39.859291
- Title: CoMAT: Chain of Mathematically Annotated Thought Improves Mathematical Reasoning
- Title（参考訳）: CoMAT: 数学的に注釈付けされた思考の連鎖が数学的推論を改善する
- Authors: Joshua Ong Jun Leang, Aryo Pradipta Gema, Shay B. Cohen,
- Abstract要約: CoMAT (Chain of Mathematically Annotated Thought) は2つの段階(Conversion and Reasoning Execution)を通して推論を強化する。
CoMATは単一の言語モデルで完全に動作し、外部のソルバを持たない。
性能の改善に加えて、CoMATは忠実さと検証可能性を確保し、複雑な数学的タスクに対する透過的な推論プロセスを提供する。
- 参考スコア（独自算出の注目度）: 17.494003926136767
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mathematical reasoning remains a significant challenge for large language models (LLMs), despite progress in prompting techniques such as Chain-of-Thought (CoT). We present Chain of Mathematically Annotated Thought (CoMAT), which enhances reasoning through two stages: Symbolic Conversion (converting natural language queries into symbolic form) and Reasoning Execution (deriving answers from symbolic representations). CoMAT operates entirely with a single LLM and without external solvers. Across four LLMs, CoMAT outperforms traditional CoT on six out of seven benchmarks, achieving gains of 4.48% on MMLU-Redux (MATH) and 4.58% on GaoKao MCQ. In addition to improved performance, CoMAT ensures faithfulness and verifiability, offering a transparent reasoning process for complex mathematical tasks
- Abstract（参考訳）: 数学的推論は、Chain-of-Thought (CoT)のような技法の進歩にもかかわらず、大きな言語モデル(LLM)にとって重要な課題である。
本稿では、記号変換(自然言語クエリを記号形式に変換する)と推論実行(記号表現からの回答を導出する)という2つの段階を通して推論を強化する数学的アノテーション思考(CoMAT)の連鎖について述べる。
CoMATは、単一のLCMと外部解決器なしで完全に動作する。
4つのLCMで、CoMATは7つのベンチマークのうち6つのベンチマークで従来のCoTを上回り、MMLU-Redux (MATH)では4.48%、GaoKao MCQでは4.58%を記録した。
性能の改善に加えて、CoMATは複雑な数学的タスクに対する透明な推論プロセスを提供し、忠実さと妥当性を保証する。
関連論文リスト
- UTMath: Math Evaluation with Unit Test via Reasoning-to-Coding Thoughts [8.582930981424528]
本稿では,広範囲な単体テストを通じてモデルをしっかりと評価する UTMath Benchmark を紹介する。
9つの数学領域にまたがる1,053の問題で構成され、1つの問題に対して68以上のテストケースがある。
我々は、LLMがコードを生成する前に明示的な推論を実行することを奨励するReasoning-to-Coding of Thoughts(RCoT)アプローチを導入する。
論文 参考訳（メタデータ） (2024-11-11T18:59:02Z) - To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning [55.52872152909785]
Chain-of-Thought (CoT) は,大規模言語モデル (LLM) から推論能力を引き出すデファクト手法である。
私たちは、CoTが主に数学や論理学を含むタスクに強いパフォーマンス上の利点をもたらし、他のタスクよりもはるかに少ない利益をもたらすことを示しています。
論文 参考訳（メタデータ） (2024-09-18T17:55:00Z) - Skywork-Math: Data Scaling Laws for Mathematical Reasoning in Large Language Models -- The Story Goes On [55.449818944278526]
一般的な7B言語モデル上での教師付き微調整(SFT)であるSkywork-Mathモデルシリーズを紹介する。
Skywork-Math 7Bは競争レベルのMATHベンチマークで51.2%の精度を達成した。
我々は,LLMの数学推論能力を高めるために,研究用と産業用の両方で,いくつかの実践的なテイクアウトを提供する。
論文 参考訳（メタデータ） (2024-07-11T09:56:51Z) - We-Math: Does Your Large Multimodal Model Achieve Human-like Mathematical Reasoning? [11.858791083851447]
WE-MATHは、エンド・ツー・エンドのパフォーマンスを超えた問題解決の原則を探求するために設計された最初のベンチマークである。
我々は67の階層的な知識概念と5層の知識の粒度にまたがる6.5Kの視覚数学の問題を慎重に収集・分類する。
視覚数学的推論において既存のLMMを徹底的に評価し、解法ステップと問題固有の性能との負の相関を明らかにする。
論文 参考訳（メタデータ） (2024-07-01T13:39:08Z) - LLMs Are Not Intelligent Thinkers: Introducing Mathematical Topic Tree Benchmark for Comprehensive Evaluation of LLMs [8.89259409245068]
大規模言語モデル(LLM)は、数学的推論において印象的な能力を示す。
我々はMathematical Topics Tree (MaTT)ベンチマークを提示する。
最上級モデルであるGPT-4は,複数選択シナリオにおいて,わずか54%の精度を達成した。
論文 参考訳（メタデータ） (2024-06-07T18:21:26Z) - MACM: Utilizing a Multi-Agent System for Condition Mining in Solving Complex Mathematical Problems [10.517708404982624]
本稿では,条件マイニングのためのtextitMulti-Agent システム (textbfMACM) を提案する。
複雑な数学的問題を解き、様々な数学的文脈にまたがる強力な一般化能力を示す。
MACMの助けを借りて、GPT-4 Turboの精度は、MATHデータセットの最も難しい5つの数学的な問題を、$mathbf54.68%テキストからmathbf76.73%$へと引き上げた。
論文 参考訳（メタデータ） (2024-04-06T21:39:01Z) - MathVerse: Does Your Multi-modal LLM Truly See the Diagrams in Visual Math Problems? [99.0305256706604]
MLLMの公平かつ詳細な評価のために設計された全周視覚数学ベンチマークであるMathVerseを紹介する。
我々は,2,612の高品位・多目的数学問題を,公開情報源の図を用いて慎重に収集する。
このアプローチにより、MathVerseは、数学的推論のためのビジュアルダイアグラムを、どの程度のMLLMが真に理解できるかを包括的に評価することができる。
論文 参考訳（メタデータ） (2024-03-21T17:59:50Z) - MathCoder: Seamless Code Integration in LLMs for Enhanced Mathematical
Reasoning [52.97768001837269]
本稿では,オープンソース言語モデルを微調整する手法を提案する。
本稿では,問題のある新しい,高品質なデータセットを生成する手法とそのコードベースソリューションを提案する。
このアプローチは、問題の解決にコードベースのソリューションを生成することができるモデルのファミリーであるMathCoderモデルを生成する。
論文 参考訳（メタデータ） (2023-10-05T17:52:09Z) - Faithful Chain-of-Thought Reasoning [51.21714389639417]
CoT(Chain-of-Thought)は言語モデル(LM)のパフォーマンスを様々な推論タスクで向上させる。
翻訳と問題解決という2つの段階を含む推論フレームワークであるFithful CoTを提案する。
このことは、推論連鎖が最終回答の忠実な説明を提供することを保証している。
論文 参考訳（メタデータ） (2023-01-31T03:04:26Z) - Program of Thoughts Prompting: Disentangling Computation from Reasoning
for Numerical Reasoning Tasks [108.4568236569645]
CoT(Chain-of-thinkts prompting)は、これらのタスクに対する最先端の手法である。
本稿では、言語モデルを用いて推論過程をプログラムとして表現する「思考プログラム(PoT)」を提案する。
PoTは、評価されたすべてのデータセットに対して、CoTに対する平均的なパフォーマンス向上を約12%示すことができる。
論文 参考訳（メタデータ） (2022-11-22T21:06:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。