論文の概要: SAAS: Solving Ability Amplification Strategy for Enhanced Mathematical Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2404.03887v1
• Date: Fri, 5 Apr 2024 04:25:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-08 17:06:15.308329
• Title: SAAS: Solving Ability Amplification Strategy for Enhanced Mathematical Reasoning in Large Language Models
• Title（参考訳）: SAAS:大規模言語モデルにおける数学的推論強化のための問題解決能力向上戦略
• Authors: Hyeonwoo Kim, Gyoungjin Gim, Yungi Kim, Jihoo Kim, Byungju Kim, Wonseok Lee, Chanjun Park,
• Abstract要約: 我々は,CoT(Chain-of-Thought)学習とPoT(Program-of-Thought)学習の統合に注力する。 本稿では,CoT学習からPoT学習へ戦略的に移行する,SAAS(Solving Ability Amplification Strategy)という逐次学習手法を提案する。
• 参考スコア（独自算出の注目度）: 4.090307917818891
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study presents a novel learning approach designed to enhance both mathematical reasoning and problem-solving abilities of Large Language Models (LLMs). We focus on integrating the Chain-of-Thought (CoT) and the Program-of-Thought (PoT) learning, hypothesizing that prioritizing the learning of mathematical reasoning ability is helpful for the amplification of problem-solving ability. Thus, the initial learning with CoT is essential for solving challenging mathematical problems. To this end, we propose a sequential learning approach, named SAAS (Solving Ability Amplification Strategy), which strategically transitions from CoT learning to PoT learning. Our empirical study, involving an extensive performance comparison using several benchmarks, demonstrates that our SAAS achieves state-of-the-art (SOTA) performance. The results underscore the effectiveness of our sequential learning approach, marking a significant advancement in the field of mathematical reasoning in LLMs.
• Abstract（参考訳）: 本研究では,Large Language Models (LLM) の数学的推論と問題解決能力の向上を目的とした,新しい学習手法を提案する。 我々は,CoT(Chain-of-Thought)とPoT(Program-of-Thought)の学習を統合することに集中し,数学的推論能力の学習の優先順位付けが問題解決能力の増幅に役立つと仮定した。 したがって、CoTによる初期学習は、問題の解決に不可欠である。 そこで本研究では,CoT学習からPoT学習へ戦略的に移行する,SAAS(Solving Ability Amplification Strategy)という逐次学習手法を提案する。 いくつかのベンチマークによる広範な性能比較を含む実証研究により,SAASがSOTA(State-of-the-art)の性能を達成することを示す。 その結果, LLMにおける数学的推論の分野において, 逐次学習手法の有効性が著しく向上していることが示唆された。

関連論文リスト

• BloomWise: Enhancing Problem-Solving capabilities of Large Language Models using Bloom's-Taxonomy-Inspired Prompts [59.83547898874152]
  我々は,Bloomの分類にインスパイアされた新しいプロンプト技術であるBloomWiseを導入し,Large Language Models(LLMs)の性能を向上させる。 より洗練された認知スキルを身につける必要性に関する決定は、LLMによる自己評価に基づいている。 4つの一般的な算数推論データセットの広範な実験において,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-05T09:27:52Z)
• Topological Foundations of Reinforcement Learning [0.0]
  本稿では,バナッハの不動点定理と強化学習アルゴリズムの収束の関連性について述べる。 距離空間、ノルム空間、バナッハ空間などの関連する概念をよりよく理解するために導入する。 我々は、強化学習アルゴリズムが収束する理由を示すために、バナッハ空間上の作用素の観点からベルマン方程式を記述する。
  論文  参考訳（メタデータ） (2024-09-25T21:21:23Z)
• Benchmarking Large Language Models for Math Reasoning Tasks [12.91916443702145]
  我々は、4つの強力な基礎モデル上の5つの広く使われている数学的データセットの数学的問題解決のための、最先端の文脈内学習アルゴリズムを7つ比較した。 以上の結果から, GPT-4o や LLaMA 3-70B のような大規模基盤モデルでは, 具体的なプロンプト戦略とは独立に数学的推論を解くことが可能であることが示唆された。 将来の研究で追加モデルの統合をサポートするために、ベンチマークコードをオープンソースにしています。
  論文  参考訳（メタデータ） (2024-08-20T13:34:17Z)
• Evaluating LLMs' Mathematical Reasoning in Financial Document Question Answering [53.56653281752486]
  本研究では,大言語モデルによる4つの財務質問応答データセットの数学的推論について検討する。 数理推論のステップの数が増えるにつれて、テーブルの複雑さや性能の変化に対する感度に焦点をあてる。 半構造化文書に適した新しいプロンプト技術を導入する。
  論文  参考訳（メタデータ） (2024-02-17T05:10:18Z)
• SEGO: Sequential Subgoal Optimization for Mathematical Problem-Solving [64.38649623473626]
  大規模言語モデル(LLM)は人工知能の大幅な進歩を導いた。 数学的問題を解く能力を高めるために,textbfSEquential subtextbfGoal textbfOptimization (SEGO) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-19T17:56:40Z)
• No Train Still Gain. Unleash Mathematical Reasoning of Large Language Models with Monte Carlo Tree Search Guided by Energy Function [3.0299876288833345]
  大きな言語モデル(LLM)は、印象的な言語理解と文脈学習能力を示している。 LLMは、解の確率が高いにもかかわらず、正しい推論ステップと答えを生成するのにしばしば苦労する。 モンテカルロ木探索 (MCTS) と軽量エネルギー関数を組み込んだ決定ステップのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2023-09-01T13:10:54Z)
• Auxiliary Learning as an Asymmetric Bargaining Game [50.826710465264505]
  補助学習におけるタスクのバランスをとるために,AuxiNashという新しい手法を提案する。 本報告では,主課題の性能に対する貢献に基づいて,タスクの獲得能力を学ぶための効率的な手順について述べる。 複数のマルチタスクベンチマークでAuxiNashを評価し、競合する手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-31T09:41:39Z)
• Importance Weighted Policy Learning and Adaptation [89.46467771037054]
  政治外学習の最近の進歩の上に構築された,概念的にシンプルで,汎用的で,モジュール的な補完的アプローチについて検討する。 このフレームワークは確率論的推論文学のアイデアにインスパイアされ、堅牢な非政治学習と事前の行動を組み合わせる。 提案手法は,メタ強化学習ベースラインと比較して,ホールドアウトタスクにおける競合適応性能を実現し,複雑なスパース・リワードシナリオにスケールすることができる。
  論文  参考訳（メタデータ） (2020-09-10T14:16:58Z)
• Provably Efficient Exploration for Reinforcement Learning Using Unsupervised Learning [96.78504087416654]
  強化学習(RL)問題における効率的な探索に教師なし学習を用い,本パラダイムが有効であるかどうかを考察する。 本稿では,教師なし学習アルゴリズムと非線形表RLアルゴリズムという,2つのコンポーネント上に構築された汎用的なアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-15T19:23:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。