論文の概要: Resprompt: Residual Connection Prompting Advances Multi-Step Reasoning
in Large Language Models
- arxiv url: http://arxiv.org/abs/2310.04743v1
- Date: Sat, 7 Oct 2023 08:56:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 15:55:54.881394
- Title: Resprompt: Residual Connection Prompting Advances Multi-Step Reasoning
in Large Language Models
- Title(参考訳): Resprompt: 大規模言語モデルにおけるResidual Connection Promptingのマルチステップ推論
- Authors: Song Jiang, Zahra Shakeri, Aaron Chan, Maziar Sanjabi, Hamed Firooz,
Yinglong Xia, Bugra Akyildiz, Yizhou Sun, Jinchao Li, Qifan Wang, Asli
Celikyilmaz
- Abstract要約: チェーン・オブ・シント(CoT)のプロンプトによって、大きな言語モデル(LLM)の推論の可能性は著しく解放された。
しかし、標準的なCoTは複数の推論ステップを必要とする問題では効果が低い。
LLMにおける多段階推論を推し進める新しいプロンプト戦略であるRESPROMPTを提案する。
- 参考スコア(独自算出の注目度): 75.62842701840543
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Chain-of-thought (CoT) prompting, which offers step-by-step problem-solving
rationales, has impressively unlocked the reasoning potential of large language
models (LLMs). Yet, the standard CoT is less effective in problems demanding
multiple reasoning steps. This limitation arises from the complex reasoning
process in multi-step problems: later stages often depend on the results of
several steps earlier, not just the results of the immediately preceding step.
Such complexities suggest the reasoning process is naturally represented as a
graph. The almost linear and straightforward structure of CoT prompting,
however, struggles to capture this complex reasoning graph. To address this
challenge, we propose Residual Connection Prompting (RESPROMPT), a new
prompting strategy that advances multi-step reasoning in LLMs. Our key idea is
to reconstruct the reasoning graph within prompts. We achieve this by
integrating necessary connections-links present in the reasoning graph but
missing in the linear CoT flow-into the prompts. Termed "residual connections",
these links are pivotal in morphing the linear CoT structure into a graph
representation, effectively capturing the complex reasoning graphs inherent in
multi-step problems. We evaluate RESPROMPT on six benchmarks across three
diverse domains: math, sequential, and commonsense reasoning. For the
open-sourced LLaMA family of models, RESPROMPT yields a significant average
reasoning accuracy improvement of 12.5% on LLaMA-65B and 6.8% on LLaMA2-70B.
Breakdown analysis further highlights RESPROMPT particularly excels in complex
multi-step reasoning: for questions demanding at least five reasoning steps,
RESPROMPT outperforms the best CoT based benchmarks by a remarkable average
improvement of 21.1% on LLaMA-65B and 14.3% on LLaMA2-70B. Through extensive
ablation studies and analyses, we pinpoint how to most effectively build
residual connections.
- Abstract(参考訳): chain-of-thought (cot) プロンプトはステップバイステップの問題解決の根拠を提供するが、大きな言語モデル(llm)の推論可能性を大きく解いた。
しかし、標準的なCoTは複数の推論ステップを必要とする問題では効果が低い。
この制限は、多段階問題における複雑な推論過程から生じる:後段の段階は、しばしば、直前の段階の結果だけでなく、より早い段階の結果に依存する。
そのような複雑さは、推論過程が自然にグラフとして表されることを示している。
しかし、CoTのほぼ直線的かつ直接的な構造は、この複雑な推論グラフを捉えるのに苦労している。
この課題に対処するために,LLMにおける多段階推論を推し進める新たなプロンプト戦略であるResidual Connection Prompting (RESPROMPT)を提案する。
私たちのキーとなるアイデアは、プロンプト内の推論グラフを再構築することです。
我々は、推論グラフに存在する必要な接続リンクを統合することでこれを実現するが、インプロンプトへの線形CoTフローに欠ける。
これらのリンクは、線形コット構造をグラフ表現に変形させ、多段階問題に内在する複雑な推論グラフを効果的に捉える上で重要なものである。
我々はRESPROMPTを数学、シーケンシャル、常識推論の3分野にわたる6つのベンチマークで評価した。
オープンソースのLLaMAシリーズでは、RESPROMPTはLLaMA-65Bで12.5%、LLaMA2-70Bで6.8%という有意な平均推論精度の向上をもたらす。
RESPROMPTは、少なくとも5つの推論ステップを要求する質問に対して、LLaMA-65Bで21.1%、LLaMA2-70Bで14.3%という顕著な平均改善により、最高のCoTベースのベンチマークを上回っている。
広範囲なアブレーション研究と分析を通じて, 残留接続を最も効果的に構築する方法を明らかにする。
関連論文リスト
- Large Language Models as an Indirect Reasoner: Contrapositive and
Contradiction for Automated Reasoning [79.37150041259066]
本稿では, 事実推論や数学的証明といったIR課題に対処するために, 反陽性と矛盾の論理を用いた間接推論(IR)手法を提案する。
GPT-3.5-turbo や Gemini-pro などの一般的な LLM の実験結果から,我々のIR 法は事実推論の総合的精度を27.33%,数学的証明を31.43%向上させることを示した。
論文 参考訳(メタデータ) (2024-02-06T03:41:12Z) - Evidence to Generate (E2G): A Single-agent Two-step Prompting for
Context Grounded and Retrieval Augmented Reasoning [3.117335706912261]
Evidence to Generate(E2G)は、新しいシングルエージェント、2ステッププロンプトフレームワークである。
証明されていない推論の主張の代わりに、E2Gは文脈で明確に言及された思考列にのみ焦点をあてる。
ツールは、幅広い知識集約的な推論と生成タスクにおいて、顕著な結果を達成する。
論文 参考訳(メタデータ) (2024-01-11T09:49:15Z) - Divide and Conquer for Large Language Models Reasoning [53.27384085738965]
本稿では,大言語モデルにDivide and Conquer戦略を適用することを提案する。
まず、統計的信頼度スコアに基づいて、質問を異なるサブセットに分割する。
そして、ほぼ解決された集合を修正し、精巧に設計された手法で要求されるニュアンス処理を克服します。
論文 参考訳(メタデータ) (2024-01-10T14:38:46Z) - The Impact of Reasoning Step Length on Large Language Models [42.07147913947077]
思考の連鎖(CoT)は、大きな言語モデルの推論能力を改善する上で重要である。
プロンプトにおけるCoTの有効性と推論ステップの長さの相関について検討した。
論文 参考訳(メタデータ) (2024-01-10T04:37:38Z) - Graph-Guided Reasoning for Multi-Hop Question Answering in Large
Language Models [17.62922811004786]
Chain-of-Thought (CoT) のプロンプトにより,Large Language Models (LLM) の多段階推論能力が向上した。
我々は、CoTが生成する推論経路を分析し、多段階推論において2つの問題を見つける。
グラフ誘導型CoTプロンプト手法を提案する。
論文 参考訳(メタデータ) (2023-11-16T10:36:08Z) - Thought Propagation: An Analogical Approach to Complex Reasoning with
Large Language Models [70.76692652007469]
大規模言語モデルの複雑な推論能力を高めるために,textbftextitThought Propagation (TP)を提案する。
TP はまず LLM に対して,入力問題に関連する類似問題の集合を提案し,解決するよう促す。
TPは、類似問題の結果を再利用して、新しいソリューションを直接生成したり、スクラッチから得られた初期ソリューションを修正するための知識集約的な実行プランを導出する。
論文 参考訳(メタデータ) (2023-10-06T01:40:09Z) - Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。
これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。
実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
論文 参考訳(メタデータ) (2023-05-29T23:24:14Z) - Complexity-Based Prompting for Multi-Step Reasoning [72.0057198610614]
大規模言語モデルに対して,多段階推論を行うための課題について検討する。
中心的な疑問は、どの推論例が最も効果的なプロンプトを作るかである。
多段階推論のためのシンプルで効果的な例選択方式である複雑性ベースのプロンプトを提案する。
論文 参考訳(メタデータ) (2022-10-03T05:33:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。