論文の概要: Evaluating and Improving Tool-Augmented Computation-Intensive Math Reasoning

• arxiv url: http://arxiv.org/abs/2306.02408v1
• Date: Sun, 4 Jun 2023 17:02:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 18:08:39.349846
• Title: Evaluating and Improving Tool-Augmented Computation-Intensive Math Reasoning
• Title（参考訳）: ツール強化型計算集約型数学推論の評価と改善
• Authors: Beichen Zhang, Kun Zhou, Xilin Wei, Wayne Xin Zhao, Jing Sha, Shijin Wang, Ji-Rong Wen
• Abstract要約: CoT(Chain-of- Thought prompting)とツール拡張は、大きな言語モデルを改善するための効果的なプラクティスとして検証されている。 ツールインターフェース,すなわち textbfDELI を用いた推論ステップを考慮に入れた新しい手法を提案する。 CARPと他の6つのデータセットの実験結果から、提案されたDELIは、主に競合ベースラインを上回っていることが示された。
• 参考スコア（独自算出の注目度）: 75.74103236299477
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chain-of-thought prompting~(CoT) and tool augmentation have been validated in recent work as effective practices for improving large language models~(LLMs) to perform step-by-step reasoning on complex math-related tasks. However, most existing math reasoning datasets may be not able to fully evaluate and analyze the ability of LLMs in manipulating tools and performing reasoning, as they may only require very few invocations of tools or miss annotations for evaluating intermediate reasoning steps. To address the issue, we construct \textbf{CARP}, a new Chinese dataset consisting of 4,886 computation-intensive algebra problems with formulated annotations on intermediate steps. In CARP, we test four LLMs with CoT prompting, and find that they are all prone to make mistakes at the early steps of the solution, leading to wrong answers. Based on this finding, we propose a new approach that can deliberate the reasoning steps with tool interfaces, namely \textbf{DELI}. In DELI, we first initialize a step-by-step solution based on retrieved exemplars, then iterate two deliberation procedures that check and refine the intermediate steps of the generated solution, from the perspectives of tool manipulation and natural language reasoning, until obtaining converged solutions or reaching the maximum turn. Experimental results on CARP and six other datasets show that the proposed DELI mostly outperforms competitive baselines, and can further boost the performance of existing CoT methods. Our data and code are available in \url{https://github.com/RUCAIBox/CARP}.
• Abstract（参考訳）: CoT)とツール拡張は、複雑な数学関連のタスクにおいてステップバイステップの推論を行うために、大規模言語モデルの改善のための効果的なプラクティスとして、近年検証されている。 しかしながら、ほとんどの既存の数学推論データセットは、中間推論ステップを評価するのに、ツールの呼び出しやアノテーションのミスをほとんど必要とせず、ツールの操作や推論の実行においてLLMの能力を十分に評価し分析できないかもしれない。 この問題に対処するため,中間段階に定式化アノテーションを付加した4,886個の計算集約代数問題からなる中国語データセットである「textbf{CARP}」を構築した。 CARPでは、CoTプロンプトで4つのLCMをテストし、ソリューションの初期段階で間違いを犯しがちであることを発見し、間違った答えを導きます。 この知見に基づいて,ツールインタフェースを用いた推論手順を考察できる新しい手法,すなわち \textbf{deli} を提案する。 DELIでは、まず、抽出した例に基づいてステップバイステップの解を初期化し、ツール操作や自然言語推論の観点から、生成した解の中間ステップを検証・洗練する2つの検討手順を反復し、収束した解を得るか、最大回転に達するまで行う。 CARPと他の6つのデータセットの実験結果から、提案したDELIは競争ベースラインよりも優れており、既存のCoTメソッドの性能をさらに向上させることができる。 我々のデータとコードは \url{https://github.com/RUCAIBox/CARP} で利用可能です。

関連論文リスト

• ReasonAgain: Using Extractable Symbolic Programs to Evaluate Mathematical Reasoning [54.70811660561151]
  既存の数学データセットは、最終回答または静的例から派生した中間推論ステップを用いて、大規模言語モデル(LLM)の推論能力を評価する。 モデルがプログラムへの様々な入力に対して常に正しい最終回答を生成できる場合、シンボルプログラムを自動評価の手段として利用したいと考えている。 提案手法は, 従来の静的な例と比較して, 精度の低下を観測し, 現状のLLMにおける数学推論の脆弱さを示唆する。
  論文  参考訳（メタデータ） (2024-10-24T18:02:37Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• BEATS: Optimizing LLM Mathematical Capabilities with BackVerify and Adaptive Disambiguate based Efficient Tree Search [22.672130194493793]
  大規模言語モデル(LLM)は、幅広いタスクやドメインで例外的なパフォーマンスを示している。 彼らは数学の厳密で論理的な性質のため、数学の問題を解くのに依然として困難に直面している。 本稿では,数学的問題解決能力を高めるための新しい手法BEATSを提案する。
  論文  参考訳（メタデータ） (2024-09-26T15:47:42Z)
• To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning [55.52872152909785]
  Chain-of-Thought (CoT) は,大規模言語モデル (LLM) から推論能力を引き出すデファクト手法である。 私たちは、CoTが主に数学や論理学を含むタスクに強いパフォーマンス上の利点をもたらし、他のタスクよりもはるかに少ない利益をもたらすことを示しています。
  論文  参考訳（メタデータ） (2024-09-18T17:55:00Z)
• Beyond Imitation: Learning Key Reasoning Steps from Dual Chain-of-Thoughts in Reasoning Distillation [24.272384832200522]
  我々はmistaktextbfE-textbfDriven key reasontextbfIng step distillatextbfTion (textbfEDIT)を提案する。 我々は、類似の推論経路を持つ2つのCoTsデータを生成するためのプロンプトを設計する。 実験は、ドメイン内およびドメイン外のベンチマーク推論データセットの両方でEDITの有効性を検証する。
  論文  参考訳（メタデータ） (2024-05-30T06:32:11Z)
• MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
  MindStarは、大言語モデルの純粋に推論に基づく探索手法である。 推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
  論文  参考訳（メタデータ） (2024-05-25T15:07:33Z)
• From Large to Tiny: Distilling and Refining Mathematical Expertise for Math Word Problems with Weakly Supervision [12.023661884821554]
  本稿では,大規模言語モデルから小型言語モデルへの数学的知識の伝達を徹底的に行う,革新的な2段階のフレームワークを提案する。 提案手法は,探索型'確率方程式'ペアにおける意味理解機能を完全に活用する。 Math23KとWeak12Kデータセットでは、既存の小さなモデルメソッドと比較して大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-03-21T13:29:54Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)
• Arguments to Key Points Mapping with Prompt-based Learning [0.0]
  本稿では,パラメータ対キーポイントマッピングタスクに対する2つのアプローチを提案する。 最初のアプローチは、事前訓練された言語モデルを微調整するためのプロンプトエンジニアリングを統合することである。 第二のアプローチは、PLMにおけるプロンプトベースの学習を利用して中間テキストを生成する。
  論文  参考訳（メタデータ） (2022-11-28T01:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。