論文の概要: No Train Still Gain. Unleash Mathematical Reasoning of Large Language
Models with Monte Carlo Tree Search Guided by Energy Function
- arxiv url: http://arxiv.org/abs/2309.03224v1
- Date: Fri, 1 Sep 2023 13:10:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-10 03:28:09.580052
- Title: No Train Still Gain. Unleash Mathematical Reasoning of Large Language
Models with Monte Carlo Tree Search Guided by Energy Function
- Title(参考訳): 列車はまだ乗れない。
エネルギー関数によるモンテカルロ木探索による大規模言語モデルの非定常数学的推論
- Authors: Haotian Xu
- Abstract要約: 大規模言語モデル(LLM)は、印象的な言語理解とコンテキスト内学習能力を示す。
しかしながら、数学的推論タスクに PLM を適用することは、しばしば正しい推論ステップと最終的な答えを生成するのに失敗する。
モンテカルロ木探索による即時反応と微妙な推論システムによりLLMを育む手法を提案する。
- 参考スコア(独自算出の注目度): 3.0299876288833345
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) exhibit impressive language understanding and
in-context learning abilities including natural language processing (NLP) tasks
and challenging mathematical reasoning. However, due to the lack of
process-supervision, applying PLMs to mathematical reasoning tasks often fail
to generate correct reasoning steps and final answer even though solutions have
high probabilities. To unleash the mathematical reasoning of finetuned-LLMs
without any further fineutuning steps, we propose a method to endow LLMs with
immediate reaction and delicate reasoning system via Monte Carlo Tree
Search(MCTS) and a light energy function to rank the decision steps. In
particular, We first re-formalize the finetuned-LLMs to a Residual-based Energy
Model~(Residual-EBM) and apply noise contrastive estimation to estimate the
parameters of energy function . Then we use MCTS with energy function as path
verifier to search the output space and evaluating the reasoning path. Through
extensive experiments on two mathematical reasoning benchmarks, namely GSM8k
and MATH, we reveal the extraordinary capabilities of our method that improve
the pass@1 of the finetuned-model without further finetuning or RLHF alignment
by a substantial margin.
- Abstract(参考訳): 大規模言語モデル(LLM)は、自然言語処理(NLP)タスクや挑戦的な数学的推論を含む、印象的な言語理解と文脈内学習能力を示す。
しかし、プロセススーパービジョンの欠如により、数学的推論タスクにplmを適用すると、解が高い確率を持つにもかかわらず、正しい推論ステップと最終答えを生成することができないことが多い。
微粒化LLMの数学的推論をさらに微粒化することなく解き放つために,モンテカルロ木探索(MCTS)による即時反応および微粒化推論システムと,決定ステップをランク付けするための光エネルギー関数を併用する手法を提案する。
特に,我々はまず残留エネルギーモデル~(Residual-EBM)に微調整LLMを再構成し,ノイズコントラスト推定を適用してエネルギー関数のパラメータを推定する。
次に,エネルギー関数を持つMCTSを経路検証器として,出力空間を探索し,推論経路を評価する。
GSM8k と MATH という2つの数学的推論ベンチマークに関する広範な実験を通じて、より微細化や RLHF のアライメントをかなりのマージンで行うことなく、微調整モデルのpass@1を改善する手法の異常な能力を明らかにする。
関連論文リスト
- From Large to Tiny: Distilling and Refining Mathematical Expertise for Math Word Problems with Weakly Supervision [12.023661884821554]
本稿では,大規模言語モデルから小型言語モデルへの数学的知識の伝達を徹底的に行う,革新的な2段階のフレームワークを提案する。
提案手法は,探索型'確率方程式'ペアにおける意味理解機能を完全に活用する。
Math23KとWeak12Kデータセットでは、既存の小さなモデルメソッドと比較して大幅にパフォーマンスが向上している。
論文 参考訳(メタデータ) (2024-03-21T13:29:54Z) - Caught in the Quicksand of Reasoning, Far from AGI Summit: Evaluating
LLMs' Mathematical and Coding Competency through Ontology-guided
Interventions [50.68293377521595]
大規模言語モデル(LLM)は論理的推論ベンチマークで顕著な結果を示した。
算術的推論とコード生成という,2つの一般的な推論タスクに注目します。
質問に対して、すべてのモデルで大幅なパフォーマンス低下を見せています。
論文 参考訳(メタデータ) (2024-01-17T18:13:07Z) - Frugal LMs Trained to Invoke Symbolic Solvers Achieve
Parameter-Efficient Arithmetic Reasoning [36.8749786658624]
大規模言語モデル(LLM)は、スケールで発生した振る舞いとしてゼロショットの数学的推論能力を示す。
算術語問題を正規化テーマ解決タスクとして提案した場合,小さいLMでは合理的な算術的推論が可能であることを示す。
論文 参考訳(メタデータ) (2023-12-09T13:20:49Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。
モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - Sci-CoT: Leveraging Large Language Models for Enhanced Knowledge
Distillation in Small Models for Scientific QA [5.117094291273979]
大規模言語モデル(LLM)は、幅広い下流タスクで優れたパフォーマンスを示している。
本稿では2段階のフレームワークであるSci-CoTを提案する。
我々の8000万のパラメータモデルは、いくつかのショット設定の下でARC-EasyデータセットにおけるBLOOM-176Bの性能を上回ることができる。
論文 参考訳(メタデータ) (2023-08-09T03:18:07Z) - Learning Multi-Step Reasoning by Solving Arithmetic Tasks [6.398022050054328]
本研究では,比較的小さな言語モデルを多段階推論の能力に組み込む方法について検討する。
我々は,合成データセットMsAT上でLMを継続的に事前学習することにより,そのような能力を注入することを提案する。
提案手法の有効性を示す4つの数学単語問題データセットについて実験を行った。
論文 参考訳(メタデータ) (2023-06-02T17:29:22Z) - Evaluating Language Models for Mathematics through Interactions [116.67206980096513]
大型言語モデル(LLM)と対話し,評価するためのプロトタイププラットフォームであるCheckMateを紹介した。
我々はCheckMateと共同で3つの言語モデル(InstructGPT, ChatGPT, GPT-4)を、学部レベルの数学の証明支援として評価する研究を行った。
我々は、人間の行動の分類を導き、概して肯定的な相関にもかかわらず、正しさと知覚的有用性の間に顕著な相違点があることを明らかにする。
論文 参考訳(メタデータ) (2023-06-02T17:12:25Z) - SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。
我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。
我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-05-16T17:55:51Z) - ChatABL: Abductive Learning via Natural Language Interaction with
ChatGPT [72.83383437501577]
大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。
LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。
本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-04-21T16:23:47Z) - Joint Energy-based Model Training for Better Calibrated Natural Language
Understanding Models [61.768082640087]
自然言語理解タスクのための事前学習テキストエンコーダの微調整中に、共同エネルギーベースモデル(EBM)トレーニングを検討します。
実験では、EMMトレーニングはモデルが強力なベースラインに匹敵するより良いキャリブレーションに達するのに役立つことが示されています。
論文 参考訳(メタデータ) (2021-01-18T01:41:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。