論文の概要: Arithmetic Reasoning with LLM: Prolog Generation & Permutation

• arxiv url: http://arxiv.org/abs/2405.17893v1
• Date: Tue, 28 May 2024 07:13:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 19:57:23.516102
• Title: Arithmetic Reasoning with LLM: Prolog Generation & Permutation
• Title（参考訳）: LLMを用いた算術的推論:プロログ生成と置換
• Authors: Xiaocheng Yang, Bingsen Chen, Yik-Cheung Tam,
• Abstract要約: GSM8Kベンチマークでは,Prologに基づく算術的問題解決がCoT生成に優れていることが示されている。 我々は、データ拡張によるより堅牢なLCMトレーニングのための基礎的真理予測をパーミュレートすることを提案する。
• 参考スコア（独自算出の注目度）: 2.1867261071129125
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instructing large language models (LLMs) to solve elementary school math problems has shown great success using Chain of Thought (CoT). However, the CoT approach relies on an LLM to generate a sequence of arithmetic calculations which can be prone to cascaded calculation errors. We hypothesize that an LLM should focus on extracting predicates and generating symbolic formulas from the math problem description so that the underlying calculation can be done via an external code interpreter. We investigate using LLM to generate Prolog programs to solve mathematical questions. Experimental results show that our Prolog-based arithmetic problem-solving outperforms CoT generation in the GSM8K benchmark across three distinct LLMs. In addition, given the insensitive ordering of predicates and symbolic formulas in Prolog, we propose to permute the ground truth predicates for more robust LLM training via data augmentation.
• Abstract（参考訳）: 小学校数学の問題を解くための大規模言語モデル (LLM) の指導は、Chain of Thought (CoT) を用いて大きな成功を収めた。 しかし、CoT の手法は LLM に頼り、カスケード計算の誤りを生じやすい算術演算列を生成する。 我々は, LLM が数学問題記述から述語を抽出し, 記号式を生成することに集中して, 基礎となる計算を外部コードインタープリタで行うことを仮定する。 数学的な問題を解くために,LLMを用いてPrologプログラムを生成する。 実験結果から,GSM8KベンチマークにおけるPrologに基づく算術問題解は,3つの異なるLLM間でCoT生成に優れることがわかった。 さらに,Prologにおける述語や記号式の不感な順序付けを考慮し,データ拡張によるより堅牢なLLMトレーニングのために,基底真理述語をパーミュレートすることを提案する。

関連論文リスト

• Graph-Structured Speculative Decoding [52.94367724136063]
  投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。 本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。 我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-23T06:21:24Z)
• On the Design and Analysis of LLM-Based Algorithms [74.7126776018275]
  大規模言語モデル(LLM)はアルゴリズムのサブルーチンとして使用される。 LLMは素晴らしい経験的成功を収めた。 我々のフレームワークはLLMベースのアルゴリズムの進歩を約束している。 LLMアルゴリズムのさらなる研究を促進するため、ソースコードはhttps://github.com/modelscope/agentscope/tree/main/examples/paper_llm_based_algorithmで公開しています。
  論文  参考訳（メタデータ） (2024-07-20T07:39:07Z)
• OccamLLM: Fast and Exact Language Model Arithmetic in a Single Step [7.7168728919692855]
  大規模言語モデル(LLM)は、複雑な算術演算を正確に実行する上で、依然として課題に直面している。 本研究では,テキスト単一自動回帰ステップの正確な演算を可能にするフレームワークを提案し,より高速でセキュアで解釈可能なLLMシステムを実現する。
  論文  参考訳（メタデータ） (2024-06-04T04:17:40Z)
• Code Simulation Challenges for Large Language Models [6.970495767499435]
  この研究は、LLM(Large Language Models)がいかにコーディングやアルゴリズムのタスクをシミュレートできるかを研究する。 我々は、直線プログラムのベンチマーク、クリティカルパスを含むコード、近似命令および冗長命令を導入する。 本稿では,コンパイラのパターンを行/フォローすることで,LLMにコード実行行をシミュレートするように指示する,OFFプロンプト手法であるChain of Simulation(CoSm)を提案する。
  論文  参考訳（メタデータ） (2024-01-17T09:23:59Z)
• LPML: LLM-Prompting Markup Language for Mathematical Reasoning [8.995617701116142]
  外部ツール(Python REPL)とChain-of-Thought(CoT)メソッドを統合する新しいフレームワークを提案する。 提案手法は,ゼロショットプロンプトのみを用いて,LLMがマークアップ言語を記述し,高度な数学的推論を行うことを可能にする。
  論文  参考訳（メタデータ） (2023-09-21T02:46:20Z)
• LaGR-SEQ: Language-Guided Reinforcement Learning with Sample-Efficient Querying [71.86163159193327]
  大規模言語モデル(LLM)は、最近、テキストを介してコンテキスト対応の応答を提供するという、印象的な能力を実証した。 この能力は、パターン補完に関連するシーケンシャルな意思決定タスクにおいて、妥当なソリューションを予測するために使われる可能性がある。 第一強化学習(RL)エージェントによって部分的に完了したタスクに対する解を提案するために,LLMのこの予測能力を利用するLaGRを紹介した。
  論文  参考訳（メタデータ） (2023-08-21T02:07:35Z)
• Logic-LM: Empowering Large Language Models with Symbolic Solvers for Faithful Logical Reasoning [101.26814728062065]
  大規模言語モデル(LLM)は人間のような推論能力を示しているが、それでも複雑な論理的問題に悩まされている。 本稿では,論理問題の解法を改善するために,LLMとシンボリックソルバを統合した新しいフレームワークであるLogic-LMを紹介する。
  論文  参考訳（メタデータ） (2023-05-20T22:25:38Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)
• MathPrompter: Mathematical Reasoning using Large Language Models [7.953723258038284]
  大規模言語モデル (LLM) は算術的推論タスクを解く際の性能に制限がある。 MathPrompterはZero-shot-of- Thoughtプロンプト技術を使って複数の代数式やPython関数を生成し、異なる方法で同じ数学問題を解く。
  論文  参考訳（メタデータ） (2023-03-04T04:43:49Z)
• PAL: Program-aided Language Models [112.94785609781503]
  自然言語問題を理解するために,プログラム支援言語モデル(PaL)を提案する。 PaLはソリューションステップをPythonインタプリタのようなプログラムランタイムにオフロードする。 私たちは12のベンチマークで新しい最先端の結果を設定しました。
  論文  参考訳（メタデータ） (2022-11-18T18:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。