論文の概要: LLM Reasoning Engine: Specialized Training for Enhanced Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2412.20227v1
• Date: Sat, 28 Dec 2024 17:48:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:01:20.425846
• Title: LLM Reasoning Engine: Specialized Training for Enhanced Mathematical Reasoning
• Title（参考訳）: LLM推論エンジン:強化数学的推論のための特別訓練
• Authors: Shuguang Chen, Guang Lin,
• Abstract要約: 数学的推論タスクにおける大規模言語モデルの能力を高めるための新しい手法を提案する。 このギャップを埋める必要性に感銘を受け、私たちのアプローチには質問パラフレーズ戦略が組み込まれています。 モデルの学習プロセスを導くために 専門的な訓練目的が 使われています。
• 参考スコア（独自算出の注目度）: 7.512199306943756
• License:
• Abstract: Large Language Models (LLMs) have shown remarkable performance in various natural language processing tasks but face challenges in mathematical reasoning, where complex problem-solving requires both linguistic understanding and mathematical reasoning skills. Existing approaches to address this challenge often rely on ensemble methods and suffer from the problem of data scarcity in target domains. In this work, we present a novel method to enhance LLMs' capabilities in mathematical reasoning tasks. Motivated by the need to bridge this gap, our approach incorporates a question paraphrase strategy, which aims at diversifying the linguistic forms of mathematical questions to improve generalization. Additionally, specialized training objectives are employed to guide the model's learning process, focusing on enhancing its understanding of mathematical concepts and reasoning processes. We conduct experiments on four datasets using different LLMs, and demonstrate the effectiveness of our approach in improving LLMs' performance on mathematical reasoning tasks. Our findings underscore the significance of our methodology in the advancement of large language models and its potential implications for real-world applications that require mathematical reasoning abilities.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示してきたが、複雑な問題解決には、言語理解と数学的推論のスキルの両方を必要とする数学的推論の課題に直面している。 この課題に対処する既存のアプローチは、しばしばアンサンブルメソッドに依存し、ターゲットドメインにおけるデータ不足の問題に悩まされる。 本研究では,数学的推論タスクにおけるLLMの能力向上のための新しい手法を提案する。 このギャップを埋めることの必要性から,本手法では,言語形式の数学的質問を多様化し,一般化を改善することを目的とした質問パラフレーズ戦略を取り入れた。 さらに、モデルの学習プロセスのガイドとして、数学的概念や推論プロセスの理解を深めることに集中するために、専門的な訓練目的が採用されている。 異なるLLMを用いて4つのデータセット上で実験を行い、数学的推論タスクにおけるLLMの性能向上におけるアプローチの有効性を実証する。 本研究は,大規模言語モデルの発達における方法論の重要性と,数学的推論能力を必要とする実世界の応用の可能性を明らかにするものである。

関連論文リスト

• BloomWise: Enhancing Problem-Solving capabilities of Large Language Models using Bloom's-Taxonomy-Inspired Prompts [59.83547898874152]
  我々は,Bloomの分類にインスパイアされた新しいプロンプト技術であるBloomWiseを導入し,Large Language Models(LLMs)の性能を向上させる。 より洗練された認知スキルを身につける必要性に関する決定は、LLMによる自己評価に基づいている。 4つの一般的な算数推論データセットの広範な実験において,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-05T09:27:52Z)
• Deconfounded Causality-aware Parameter-Efficient Fine-Tuning for Problem-Solving Improvement of LLMs [12.48241058167222]
  大規模言語モデル(LLM)は、人間の指示に基づいて様々なタスクに取り組む際に、顕著な効率性を示した。 しかし、数学や物理学の限界など、推論を必要とするタスクに苦しむことが研究によって明らかになっている。 このことは、LLMが組み込み知識を本当に理解しているか、それとも、コンテンツに対する真の理解なしにトークン分布を複製することを学ぶだけなのかという疑問を提起する。 モデルの推論能力を高めるために,新しいパラメータ効率細調整法であるDecon Causal Adaptation (DCA)を提案する。
  論文  参考訳（メタデータ） (2024-09-04T13:17:09Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• Meta Reasoning for Large Language Models [58.87183757029041]
  大規模言語モデル(LLM)の新規かつ効率的なシステムプロセッシング手法であるメタ推論プロンプト(MRP)を導入する。 MRPは、各タスクの特定の要求に基づいて異なる推論メソッドを動的に選択し、適用するようLLMに誘導する。 総合的なベンチマークによりMPPの有効性を評価する。
  論文  参考訳（メタデータ） (2024-06-17T16:14:11Z)
• MathChat: Benchmarking Mathematical Reasoning and Instruction Following in Multi-Turn Interactions [58.57255822646756]
  本稿では,大規模言語モデル (LLM) を評価するためのベンチマークであるMathChatを紹介する。 我々は,MathChatベンチマーク上での様々なSOTA LLMの性能評価を行い,これらのモデルが単ターン質問応答において優れているが,より複雑なシナリオでは性能が著しく劣っていることを観察した。 我々は,LLMファインタニングのための合成対話に基づく数学データセットであるMathChat syncを開発した。
  論文  参考訳（メタデータ） (2024-05-29T18:45:55Z)
• Mamo: a Mathematical Modeling Benchmark with Solvers [14.04286044600141]
  従来の結果指向評価を超越した新しいベンチマークであるMamoを紹介します。 最終的な解決策の正しさよりも、LCMが実行しているプロセスに焦点を合わせることで、Mamoは新たな評価パラダイムを開拓した。
  論文  参考訳（メタデータ） (2024-05-21T18:29:54Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• SAAS: Solving Ability Amplification Strategy for Enhanced Mathematical Reasoning in Large Language Models [4.090307917818891]
  我々は,CoT(Chain-of-Thought)学習とPoT(Program-of-Thought)学習の統合に注力する。 本稿では,CoT学習からPoT学習へ戦略的に移行する,SAAS(Solving Ability Amplification Strategy)という逐次学習手法を提案する。
  論文  参考訳（メタデータ） (2024-04-05T04:25:47Z)
• From Understanding to Utilization: A Survey on Explainability for Large Language Models [27.295767173801426]
  この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。 主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。 説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
  論文  参考訳（メタデータ） (2024-01-23T16:09:53Z)
• Corex: Pushing the Boundaries of Complex Reasoning through Multi-Model Collaboration [83.4031923134958]
  Corexは,大規模言語モデルを自律エージェントに変換する,新たな汎用戦略スイートだ。 人間の振る舞いにインスパイアされたCorexは、Debate、Review、Retrieveモードといった多様なコラボレーションパラダイムによって構成されている。 我々は,複数のLDMを協調的に演奏することで,既存の手法に比べて性能が著しく向上することが実証された。
  論文  参考訳（メタデータ） (2023-09-30T07:11:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。