論文の概要: Complexity-Based Prompting for Multi-Step Reasoning

• arxiv url: http://arxiv.org/abs/2210.00720v1
• Date: Mon, 3 Oct 2022 05:33:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 13:02:36.790737
• Title: Complexity-Based Prompting for Multi-Step Reasoning
• Title（参考訳）: 複雑度に基づくマルチステップ推論
• Authors: Yao Fu, Hao Peng, Ashish Sabharwal, Peter Clark and Tushar Khot
• Abstract要約: 大規模言語モデルに対して,多段階推論を行うための課題について検討する。 中心的な疑問は、どの推論例が最も効果的なプロンプトを作るかである。 多段階推論のためのシンプルで効果的な例選択方式である複雑性ベースのプロンプトを提案する。
• 参考スコア（独自算出の注目度）: 72.0057198610614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the task of prompting large-scale language models to perform multi-step reasoning. Existing work shows that when prompted with a chain of thoughts (CoT), sequences of short sentences describing intermediate reasoning steps towards a final answer, large language models can generate new reasoning chains and predict answers for new inputs. A central question is which reasoning examples make the most effective prompts. In this work, we propose complexity-based prompting, a simple and effective example selection scheme for multi-step reasoning. We show that prompts with higher reasoning complexity, i.e., chains with more reasoning steps, achieve substantially better performance on math word reasoning tasks over strong baselines. We further extend our complexity-based criteria from prompting (selecting inputs) to decoding (selecting outputs), where we sample multiple reasoning chains from the model, then choose the majority of generated answers from complex reasoning chains (over simple chains). When used to prompt GPT-3, our approach substantially improves multi-step reasoning accuracy, with an 8.6% absolute improvement on GSM8K, and 6.4% on MathQA. Compared with existing example selection schemes like manual tuning or retrieval-based selection, selection based on reasoning complexity is intuitive, easy to implement, and annotation-efficient. Further results demonstrate the robustness of our methods under format perturbation and distribution shift.
• Abstract（参考訳）: 本研究では,大規模言語モデルに多段階推論を促すタスクについて検討する。 既存の研究は、思考の連鎖(CoT)、最終回答に向けた中間推論ステップを記述する短い文の列によって、大きな言語モデルが新しい推論連鎖を生成し、新しい入力に対する回答を予測することを示している。 中心的な疑問は、どの推論例が最も効果的なプロンプトを作るかである。 本研究では,多段階推論のためのシンプルかつ効果的な例選択手法である複雑性ベースのプロンプトを提案する。 推論の複雑さが高いプロンプト、すなわち推論ステップの長いチェーンは、強力なベースラインよりも数学の単語推論タスクにおいて大幅に優れたパフォーマンスを達成していることを示す。 ここでは、モデルから複数の推論チェーンをサンプリングし、複雑な推論チェーンから(単純な連鎖よりも)生成された回答の大多数を選択する。 GPT-3では,GSM8Kが8.6%,MathQAが6.4%,多段階推論精度が大幅に向上した。 手動チューニングや検索ベースの選択のような既存の例選択方式と比較して、推論の複雑さに基づく選択は直感的で、実装が容易で、アノテーション効率が良い。 さらに,フォーマットの摂動と分布シフトによる手法の堅牢性を示す。

関連論文リスト

• STOC-TOT: Stochastic Tree-of-Thought with Constrained Decoding for Complex Reasoning in Multi-Hop Question Answering [8.525847131940031]
  マルチホップ質問応答(MHQA)は、複雑な質問に答えるために複数の通路から情報を検索し統合するモデルを必要とする。 近年のシステムでは、大規模言語モデルのパワーを活用し、証拠検索と推論のプロンプトを統合している。 MHQAの制約付き復号法であるSTOC-TOTを提案する。
  論文  参考訳（メタデータ） (2024-07-04T07:17:53Z)
• Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
  最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。 このアプローチは、正しい答えが少数派である場合に失敗する。 階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
  論文  参考訳（メタデータ） (2024-05-21T17:12:19Z)
• PathFinder: Guided Search over Multi-Step Reasoning Paths [80.56102301441899]
  木探索に基づく推論経路生成手法であるPathFinderを提案する。 動的デコードの統合により、多様な分岐とマルチホップ推論を強化する。 我々のモデルは、大きな分岐因子を持つビームサーチに類似した複雑さを反映して、よく、長く、目に見えない推論連鎖を一般化する。
  論文  参考訳（メタデータ） (2023-12-08T17:05:47Z)
• Just Ask One More Time! Self-Agreement Improves Reasoning of Language Models in (Almost) All Scenarios [20.097990701501523]
  textbfSelf-Agreementは、ほとんどすべてのシナリオに適用できる一般化可能なアンサンブル最適化手法である。 6つの公開推論ベンチマークと優れた一般化能力で、同時に顕著なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-11-14T13:30:54Z)
• DialCoT Meets PPO: Decomposing and Exploring Reasoning Paths in Smaller Language Models [18.96271708412086]
  CoT(Chain-of-Thought)プロンプトは、少なくとも1000億のパラメータを持つLLM(Large Language Models)の推論能力を高めるのに有効であることが証明されている。 本稿では,ダイアログ誘導型Chain-of-Thought(DialCoT)について紹介する。
  論文  参考訳（メタデータ） (2023-10-08T08:52:13Z)
• Resprompt: Residual Connection Prompting Advances Multi-Step Reasoning in Large Language Models [73.4425450752596]
  チェーン・オブ・シント(CoT)のプロンプトによって、大きな言語モデル(LLM)の推論の可能性は著しく解放された。 しかし、標準的なCoTは複数の推論ステップを必要とする問題では効果が低い。 LLMにおける多段階推論を推し進める新しいプロンプト戦略であるRESPROMPTを提案する。
  論文  参考訳（メタデータ） (2023-10-07T08:56:28Z)
• Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in Large Language Models [81.01397924280612]
  大規模言語モデル (LLM) は、ステップ・バイ・ステップ・チェーン・オブ・シークレット (CoT) をデモンストレーションとして組み込むことで、様々な推論タスクにおいて高い効果的な性能を達成することができる。 本稿では,イターCoT (Iterative bootstrapping in Chain-of-Thoughts Prompting) を導入する。
  論文  参考訳（メタデータ） (2023-04-23T13:54:39Z)
• Synthetic Prompting: Generating Chain-of-Thought Demonstrations for Large Language Models [121.54462976635743]
  大規模言語モデルはチェーン・オブ・ソート・プロンプトを使用して様々な推論タスクを実行でき、ステップ・バイ・ステップのデモを通じて回答を見つけることができる。 そこで本研究では,手作りの例を数種類活用して,モデルにさらに多くの例を生成する手法であるSynthetic promptingを紹介する。 本手法は数値的,記号的,アルゴリズム的推論タスクにおいて評価し,既存のプロンプト手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-01T17:33:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。