論文の概要: Fewer is More: Boosting LLM Reasoning with Reinforced Context Pruning
- arxiv url: http://arxiv.org/abs/2312.08901v3
- Date: Thu, 15 Feb 2024 05:42:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 18:56:38.749175
- Title: Fewer is More: Boosting LLM Reasoning with Reinforced Context Pruning
- Title(参考訳): 余計なこと:強化コンテキストプルーニングによるLLM推論の強化
- Authors: Xijie Huang, Li Lyna Zhang, Kwang-Ting Cheng, Fan Yang, Mao Yang
- Abstract要約: 大きな言語モデル(LLM)は印象的な能力を示しているが、それでも数学の推論に苦戦している。
我々はCoT-Influxを提案する。これはCoT学習の境界を押し上げる新しいアプローチである。
CoT-Influxは、CoTの実例と簡潔な例の入力を最大化するために粗いプルーナーを使用する。
- 参考スコア(独自算出の注目度): 31.110005898556892
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Language Models (LLMs) have shown impressive capabilities, yet they
still struggle with math reasoning. In this work, we propose CoT-Influx, a
novel approach that pushes the boundary of few-shot Chain-of-Thoughts (CoT)
learning to improve LLM mathematical reasoning. Motivated by the observation
that adding more concise CoT examples in the prompt can improve LLM reasoning
performance, CoT-Influx employs a coarse-to-fine pruner to maximize the input
of effective and concise CoT examples. The pruner first selects as many crucial
CoT examples as possible and then prunes unimportant tokens to fit the context
window. A math reasoning dataset with diverse difficulty levels and reasoning
steps is used to train the pruner, along with a math-specialized reinforcement
learning approach. As a result, by enabling more CoT examples with double the
context window size in tokens, CoT-Influx significantly outperforms various
prompting baselines across various LLMs (LLaMA2-7B, 13B, 70B) and 5 math
datasets, achieving up to 4.55% absolute improvements. Remarkably, without any
fine-tuning, LLaMA2-70B with CoT-Influx surpasses GPT-3.5 and a wide range of
larger LLMs (PaLM, Minerva 540B, etc.) on the GSM8K. CoT-Influx serves as a
plug-and-play module for LLMs and is compatible with most existing reasoning
prompting techniques, such as self-consistency and self-verification.
- Abstract(参考訳): 大きな言語モデル(LLM)は印象的な能力を示しているが、それでも数学の推論に苦戦している。
本研究では,LLMの数学的推論を改善するために,数発のChain-of-Thoughts(CoT)学習の境界を推し進める新しいアプローチであるCoT-Influxを提案する。
CoT-Influxは、より簡潔なCoTサンプルをプロンプトに付加することで、LCM推論性能を向上させることができるという観察により、CoTサンプルの入力を最大化するために粗粒プルーナを使用している。
prunerは、まず可能な限り重要なcotサンプルを選択し、次にコンテキストウィンドウに合うように重要でないトークンをプルする。
様々な難易度と推論ステップを持つ数学推論データセットは、数学特化強化学習アプローチとともに、プルーナーの訓練に使用される。
その結果、トークンのコンテキストウィンドウサイズを2倍にすることで、CoT-Influxは様々なLCM(LLaMA2-7B、13B、70B)と5つの数学データセットで様々なプロンプトベースラインを著しく上回り、最大4.55%の改善を実現した。
注目すべきは、微調整なしでは、CoT-Influxを搭載したLLaMA2-70Bは、GSM8K上の幅広いLLM(PaLM、Minerva 540Bなど)とGPT-3.5を超えることである。
CoT-InfluxはLLMのプラグアンドプレイモジュールとして機能し、自己整合性や自己検証といった既存の推論技術と互換性がある。
関連論文リスト
- Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with
Knowledge Graphs [55.05394799820403]
大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。
本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
論文 参考訳(メタデータ) (2024-02-17T05:22:56Z) - Can Separators Improve Chain-of-Thought Prompting? [11.155820558660245]
CoTプロンプトは、大規模言語モデル(LLM)の推論能力を改善するためのシンプルで効果的な方法である。
人間の認知にインスパイアされたCoT-Sepは,CoTプロンプトにおける各例の最後にセパレータを戦略的に活用する新しい手法である。
論文 参考訳(メタデータ) (2024-02-16T12:46:16Z) - Chain-of-Thought Reasoning Without Prompting [48.351650919819456]
CoT推論パスは、テキストデコーディングプロセスを変更するだけで、事前訓練されたLCMから引き出すことができる。
我々は、デコードパスにおけるCoTの存在は、モデルのデコードされた回答に対する高い信頼と相関していることを観察する。
論文 参考訳(メタデータ) (2024-02-15T18:55:41Z) - Large Language Models Can Learn Temporal Reasoning [12.671697405714076]
言語に基づく時間的推論のための新しいフレームワークTG-LLMを提案する。
具体的には、まずLLMにコンテキストを時間グラフ(TG)に変換するように教える。
論文 参考訳(メタデータ) (2024-01-12T19:00:26Z) - A & B == B & A: Triggering Logical Reasoning Failures in Large Language
Models [65.86149763739141]
LogicAskerはLLMの論理的推論能力を総合的に評価し改善する自動手法である。
LogicAsker は GPT-3, ChatGPT, GPT-4, Bard, Vicuna, Guanaco の6種類の LLM に対して評価を行った。
その結果、LogicAskerのテストケースは、異なるLLMで論理的推論失敗を25%から94%の確率で発見できることがわかった。
論文 参考訳(メタデータ) (2024-01-01T13:53:53Z) - Training Chain-of-Thought via Latent-Variable Inference [30.21067593018967]
大規模言語モデル(LLM)は、チェーン・オブ・シンクレットのプロンプトを使って解答ステップを実行するように指示されたときに、より正確かつ解釈可能な問題を解決する。
CoTと教師付きチューニングを組み合わせるには、正しい回答だけでなく、それらの答えにつながる詳細な根拠の監督が必要である。
そこで本研究では,CoTプロンプトを用いて正しい回答を生成することで,電子対数類似度を最大化するための微調整戦略を提案する。
論文 参考訳(メタデータ) (2023-11-28T17:47:32Z) - Speak Like a Native: Prompting Large Language Models in a Native Style [53.84738665918496]
In-context Learning (ICL) with large language model (LLMs) は、多くの自然言語処理タスクにおいて近代的なツールとなっている。
本稿では, LLMの推論能力を向上させるために, textbfAlignedCoT という新しい効果的手法を提案する。
数学的質問答え、常識的推論、テキスト理解に関するいくつかのベンチマークにおいて、広範囲かつ包括的な実験を行う。
論文 参考訳(メタデータ) (2023-11-22T17:24:21Z) - When do you need Chain-of-Thought Prompting for ChatGPT? [87.45382888430643]
CoT(Chain-of-Thought)は,大規模言語モデル(LLM)から複雑な多段階推論を効果的に引き出すことができる
CoT がChatGPT などの最近の命令微調整 (IFT) LLM に対してまだ有効であるかどうかは不明である。
論文 参考訳(メタデータ) (2023-04-06T17:47:29Z) - Multimodal Chain-of-Thought Reasoning in Language Models [80.902171201496]
大規模言語モデル(LLM)は、チェーン・オブ・ソート(CoT)を利用して複雑な推論において印象的な性能を示した。
本稿では,視覚機能を分離したトレーニングフレームワークに組み込んだマルチモーダルCoTを提案する。
Multimodal-CoTでは、ScienceQAベンチマークで10億のパラメータ未満のモデルで、従来の最先端のLCM(GPT-3.5)を16%(75.17%->91.68%)上回るパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2023-02-02T07:51:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。