論文の概要: SAAS: Solving Ability Amplification Strategy for Enhanced Mathematical Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2404.03887v4
• Date: Wed, 02 Oct 2024 11:56:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:18:27.641906
• Title: SAAS: Solving Ability Amplification Strategy for Enhanced Mathematical Reasoning in Large Language Models
• Title（参考訳）: SAAS:大規模言語モデルにおける数学的推論強化のための問題解決能力向上戦略
• Authors: Hyeonwoo Kim, Gyoungjin Gim, Yungi Kim, Jihoo Kim, Byungju Kim, Wonseok Lee, Chanjun Park,
• Abstract要約: 我々は,CoT(Chain-of-Thought)学習とPoT(Program-of-Thought)学習の統合に注力する。 本稿では,CoT学習からPoT学習へ戦略的に移行する,SAAS(Solving Ability Amplification Strategy)という逐次学習手法を提案する。
• 参考スコア（独自算出の注目度）: 4.090307917818891
• License:
• Abstract: This study presents a novel learning approach designed to enhance both mathematical reasoning and problem-solving abilities of Large Language Models (LLMs). We focus on integrating the Chain-of-Thought (CoT) and the Program-of-Thought (PoT) learning, hypothesizing that prioritizing the learning of mathematical reasoning ability is helpful for the amplification of problem-solving ability. Thus, the initial learning with CoT is essential for solving challenging mathematical problems. To this end, we propose a sequential learning approach, named SAAS (Solving Ability Amplification Strategy), which strategically transitions from CoT learning to PoT learning. Our empirical study, involving an extensive performance comparison using several benchmarks, demonstrates that our SAAS achieves state-of-the-art (SOTA) performance. The results underscore the effectiveness of our sequential learning approach, marking a significant advancement in the field of mathematical reasoning in LLMs.
• Abstract（参考訳）: 本研究では,Large Language Models (LLM) の数学的推論と問題解決能力の向上を目的とした,新しい学習手法を提案する。 我々は,CoT(Chain-of-Thought)とPoT(Program-of-Thought)の学習を統合することに集中し,数学的推論能力の学習の優先順位付けが問題解決能力の増幅に役立つと仮定した。 したがって、CoTによる初期学習は、問題の解決に不可欠である。 そこで本研究では,CoT学習からPoT学習へ戦略的に移行する,SAAS(Solving Ability Amplification Strategy)という逐次学習手法を提案する。 いくつかのベンチマークによる広範な性能比較を含む実証研究により,SAASがSOTA(State-of-the-art)の性能を達成することを示す。 その結果, LLMにおける数学的推論の分野において, 逐次学習手法の有効性が著しく向上していることが示唆された。

関連論文リスト

• Inference-Time Computations for LLM Reasoning and Planning: A Benchmark and Insights [49.42133807824413]
  本稿では,大規模言語モデル(LLM)の複雑な課題解決における推論と計画能力について検討する。 近年の推論時間技術の発展は,LLM推論を追加訓練なしで向上させる可能性を示している。 OpenAIのo1モデルは、マルチステップ推論と検証の新たな使用を通じて、有望なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-02-18T04:11:29Z)
• Teaching LLMs According to Their Aptitude: Adaptive Reasoning for Mathematical Problem Solving [55.895917967408586]
  大規模な言語モデルによる数学的推論への既存のアプローチは、一般化可能性(英語版)にはChain-of-Thought(英語版)(CoT)、正確な計算にはTool-Integrated Reasoning(英語版)(TIR)に依存している。 本稿では, LLM が自然に推論戦略をパーソナライズできる適応型フレームワークである TATA (Teaching LLMs according their Aptitude) を提案する。
  論文  参考訳（メタデータ） (2025-02-17T16:56:23Z)
• Advancing Math Reasoning in Language Models: The Impact of Problem-Solving Data, Data Synthesis Methods, and Training Stages [13.377908992869814]
  問題解決データは、一般的な数学的コーパスと比較してモデルの数学的能力を大幅に向上させる。 本研究では, 効果的なデータ合成手法を同定し, チュータシップ増幅合成法が最高の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2025-01-23T12:14:57Z)
• LLM Reasoning Engine: Specialized Training for Enhanced Mathematical Reasoning [7.512199306943756]
  数学的推論タスクにおける大規模言語モデルの能力を高めるための新しい手法を提案する。 このギャップを埋める必要性に感銘を受け、私たちのアプローチには質問パラフレーズ戦略が組み込まれています。 モデルの学習プロセスを導くために 専門的な訓練目的が 使われています。
  論文  参考訳（メタデータ） (2024-12-28T17:48:33Z)
• Task Arithmetic Through The Lens Of One-Shot Federated Learning [3.8230727103887943]
  Task Arithmeticは、複数のモデルの機能をひとつのモデルに組み合わせることを可能にするモデルマージ技術である。 タスク算術は、フェデレートラーニングにおいてよく使われるアルゴリズムと数学的に等価であることを示す。 フェデレーテッド・ラーニング(Federated Learning)のアルゴリズムを応用して,タスク算術の有効性を向上する。
  論文  参考訳（メタデータ） (2024-11-27T18:53:41Z)
• BloomWise: Enhancing Problem-Solving capabilities of Large Language Models using Bloom's-Taxonomy-Inspired Prompts [59.83547898874152]
  我々は,Bloomの分類にインスパイアされた新しいプロンプト技術であるBloomWiseを導入し,Large Language Models(LLMs)の性能を向上させる。 より洗練された認知スキルを身につける必要性に関する決定は、LLMによる自己評価に基づいている。 4つの一般的な算数推論データセットの広範な実験において,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-05T09:27:52Z)
• Benchmarking Large Language Models for Math Reasoning Tasks [12.91916443702145]
  我々は、4つの強力な基礎モデル上の5つの広く使われている数学的データセットの数学的問題解決のための、最先端の文脈内学習アルゴリズムを7つ比較した。 以上の結果から, GPT-4o や LLaMA 3-70B のような大規模基盤モデルでは, 具体的なプロンプト戦略とは独立に数学的推論を解くことが可能であることが示唆された。 将来の研究で追加モデルの統合をサポートするために、ベンチマークコードをオープンソースにしています。
  論文  参考訳（メタデータ） (2024-08-20T13:34:17Z)
• SEGO: Sequential Subgoal Optimization for Mathematical Problem-Solving [64.38649623473626]
  大規模言語モデル(LLM)は人工知能の大幅な進歩を導いた。 数学的問題を解く能力を高めるために,textbfSEquential subtextbfGoal textbfOptimization (SEGO) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-19T17:56:40Z)
• Auxiliary Learning as an Asymmetric Bargaining Game [50.826710465264505]
  補助学習におけるタスクのバランスをとるために,AuxiNashという新しい手法を提案する。 本報告では,主課題の性能に対する貢献に基づいて,タスクの獲得能力を学ぶための効率的な手順について述べる。 複数のマルチタスクベンチマークでAuxiNashを評価し、競合する手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-31T09:41:39Z)
• Importance Weighted Policy Learning and Adaptation [89.46467771037054]
  政治外学習の最近の進歩の上に構築された,概念的にシンプルで,汎用的で,モジュール的な補完的アプローチについて検討する。 このフレームワークは確率論的推論文学のアイデアにインスパイアされ、堅牢な非政治学習と事前の行動を組み合わせる。 提案手法は,メタ強化学習ベースラインと比較して,ホールドアウトタスクにおける競合適応性能を実現し,複雑なスパース・リワードシナリオにスケールすることができる。
  論文  参考訳（メタデータ） (2020-09-10T14:16:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。