論文の概要: Resprompt: Residual Connection Prompting Advances Multi-Step Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2310.04743v2
• Date: Wed, 8 May 2024 08:37:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 19:10:37.560824
• Title: Resprompt: Residual Connection Prompting Advances Multi-Step Reasoning in Large Language Models
• Title（参考訳）: Resprompt: 大規模言語モデルにおけるResidual Connection Promptingのマルチステップ推論
• Authors: Song Jiang, Zahra Shakeri, Aaron Chan, Maziar Sanjabi, Hamed Firooz, Yinglong Xia, Bugra Akyildiz, Yizhou Sun, Jinchao Li, Qifan Wang, Asli Celikyilmaz,
• Abstract要約: チェーン・オブ・シント(CoT)のプロンプトによって、大きな言語モデル(LLM)の推論の可能性は著しく解放された。 しかし、標準的なCoTは複数の推論ステップを必要とする問題では効果が低い。 LLMにおける多段階推論を推し進める新しいプロンプト戦略であるRESPROMPTを提案する。
• 参考スコア（独自算出の注目度）: 73.4425450752596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chain-of-thought (CoT) prompting, which offers step-by-step problem-solving rationales, has impressively unlocked the reasoning potential of large language models (LLMs). Yet, the standard CoT is less effective in problems demanding multiple reasoning steps. This limitation arises from the complex reasoning process in multi-step problems: later stages often depend on the results of several steps earlier, not just the results of the immediately preceding step. Such complexities suggest the reasoning process is naturally represented as a graph. The almost linear and straightforward structure of CoT prompting, however, struggles to capture this complex reasoning graph. To address this challenge, we propose Residual Connection Prompting (RESPROMPT), a new prompting strategy that advances multi-step reasoning in LLMs. Our key idea is to reconstruct the reasoning graph within prompts. We achieve this by integrating necessary connections-links present in the reasoning graph but missing in the linear CoT flow-into the prompts. Termed "residual connections", these links are pivotal in morphing the linear CoT structure into a graph representation, effectively capturing the complex reasoning graphs inherent in multi-step problems. We evaluate RESPROMPT on six benchmarks across three diverse domains: math, sequential, and commonsense reasoning. For the open-sourced LLaMA family of models, RESPROMPT yields a significant average reasoning accuracy improvement of 12.5% on LLaMA-65B and 6.8% on LLaMA2-70B. Breakdown analysis further highlights RESPROMPT particularly excels in complex multi-step reasoning: for questions demanding at least five reasoning steps, RESPROMPT outperforms the best CoT based benchmarks by a remarkable average improvement of 21.1% on LLaMA-65B and 14.3% on LLaMA2-70B. Through extensive ablation studies and analyses, we pinpoint how to most effectively build residual connections.
• Abstract（参考訳）: ステップバイステップの問題解決的根拠を提供するChain-of-Thought(CoT)プロンプトは、大規模言語モデル(LLM)の推論可能性を驚くほど開放した。 しかし、標準的なCoTは複数の推論ステップを必要とする問題では効果が低い。 この制限は、多段階問題における複雑な推論過程から生じる:後段の段階は、しばしば、直前の段階の結果だけでなく、より早い段階の結果に依存する。 そのような複雑さは、推論過程が自然にグラフとして表されることを示している。 しかし、CoTのほぼ直線的かつ直接的な構造は、この複雑な推論グラフを捉えるのに苦労している。 この課題に対処するために,LLMにおける多段階推論を推し進める新たなプロンプト戦略であるResidual Connection Prompting (RESPROMPT)を提案する。 私たちのキーとなるアイデアは、プロンプト内の推論グラフを再構築することです。 我々は、推論グラフに存在する必要な接続リンクを統合することでこれを実現するが、インプロンプトへの線形CoTフローに欠ける。 残留接続」と呼ばれるこれらのリンクは、線形CoT構造をグラフ表現に変形させる上で重要なものであり、多段階問題に固有の複雑な推論グラフを効果的に捉えている。 我々はRESPROMPTを数学、シーケンシャル、常識推論の3分野にわたる6つのベンチマークで評価した。 オープンソースのLLaMAシリーズでは、RESPROMPTはLLaMA-65Bで12.5%、LLaMA2-70Bで6.8%という有意な平均推論精度の向上をもたらす。 RESPROMPTは、少なくとも5つの推論ステップを要求する質問に対して、LLaMA-65Bで21.1%、LLaMA2-70Bで14.3%という顕著な平均改善により、最高のCoTベースのベンチマークを上回っている。 広範囲にわたるアブレーション研究と分析を通じて、残余接続をいかに効果的に構築するかを見極める。

関連論文リスト

• Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
  最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。 このアプローチは、正しい答えが少数派である場合に失敗する。 階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
  論文  参考訳（メタデータ） (2024-05-21T17:12:19Z)
• Boosting of Thoughts: Trial-and-Error Problem Solving with Large Language Models [48.43678591317425]
  Boosting of Thoughts (BoT)は、大規模言語モデルによる問題解決のための自動プロンプトフレームワークである。 我々は,BoTが他の先進的なプロンプト手法よりも高い,あるいは同等の問題解決率を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-17T00:13:36Z)
• Large Language Models as an Indirect Reasoner: Contrapositive and Contradiction for Automated Reasoning [79.37150041259066]
  本稿では, 事実推論や数学的証明といったIR課題に対処するために, 反陽性と矛盾の論理を用いた間接推論(IR)手法を提案する。 GPT-3.5-turbo や Gemini-pro などの一般的な LLM の実験結果から,我々のIR 法は事実推論の総合的精度を27.33%,数学的証明を31.43%向上させることを示した。
  論文  参考訳（メタデータ） (2024-02-06T03:41:12Z)
• Evidence to Generate (E2G): A Single-agent Two-step Prompting for Context Grounded and Retrieval Augmented Reasoning [3.117335706912261]
  Evidence to Generate(E2G)は、新しいシングルエージェント、2ステッププロンプトフレームワークである。 証明されていない推論の主張の代わりに、E2Gは文脈で明確に言及された思考列にのみ焦点をあてる。 ツールは、幅広い知識集約的な推論と生成タスクにおいて、顕著な結果を達成する。
  論文  参考訳（メタデータ） (2024-01-11T09:49:15Z)
• The Impact of Reasoning Step Length on Large Language Models [40.546685248243534]
  思考の連鎖(CoT)は、大きな言語モデルの推論能力を改善する上で重要である。 プロンプトにおけるCoTの有効性と推論ステップの長さの相関について検討した。
  論文  参考訳（メタデータ） (2024-01-10T04:37:38Z)
• Thought Propagation: An Analogical Approach to Complex Reasoning with Large Language Models [62.96551299003463]
  大規模言語モデルの複雑な推論能力を高めるために,textbftextitThought Propagation (TP)を提案する。 TP はまず LLM に対して,入力問題に関連する類似問題の集合を提案し,解決するよう促す。 TPは、類似問題の結果を再利用して、新しいソリューションを直接生成したり、スクラッチから得られた初期ソリューションを修正するための知識集約的な実行プランを導出する。
  論文  参考訳（メタデータ） (2023-10-06T01:40:09Z)
• Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
  3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。 これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。 実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
  論文  参考訳（メタデータ） (2023-05-29T23:24:14Z)
• Complexity-Based Prompting for Multi-Step Reasoning [72.0057198610614]
  大規模言語モデルに対して,多段階推論を行うための課題について検討する。 中心的な疑問は、どの推論例が最も効果的なプロンプトを作るかである。 多段階推論のためのシンプルで効果的な例選択方式である複雑性ベースのプロンプトを提案する。
  論文  参考訳（メタデータ） (2022-10-03T05:33:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。