論文の概要: The Art of SOCRATIC QUESTIONING: Recursive Thinking with Large Language Models

• arxiv url: http://arxiv.org/abs/2305.14999v2
• Date: Thu, 2 Nov 2023 02:40:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 17:31:01.357722
• Title: The Art of SOCRATIC QUESTIONING: Recursive Thinking with Large Language Models
• Title（参考訳）: ソクラティック推論の技法:大規模言語モデルによる再帰的思考
• Authors: Jingyuan Qi, Zhiyang Xu, Ying Shen, Minqian Liu, Di Jin, Qifan Wang, Lifu Huang
• Abstract要約: CoT(Chain-of-Thought)は、中間ステップを生成することで、大規模言語モデルによる複雑な推論問題の解決を可能にする。 本稿では,再帰的思考過程を模倣する分割・対数型アルゴリズムであるSOCRATIC QUESTIONINGを提案する。
• 参考スコア（独自算出の注目度）: 45.01562498702836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-Thought (CoT) prompting enables large language models to solve complex reasoning problems by generating intermediate steps. However, confined by its inherent single-pass and sequential generation process, CoT heavily relies on the initial decisions, causing errors in early steps to accumulate and impact the final answers. In contrast, humans adopt recursive thinking when tackling complex reasoning problems, i.e., iteratively breaking the original problem into approachable sub-problems and aggregating their answers to resolve the original one. Inspired by the human cognitive process, we propose SOCRATIC QUESTIONING, a divide-and-conquer style algorithm that mimics the recursive thinking process. Specifically, SOCRATIC QUESTIONING leverages large language models to raise and answer sub-questions until collecting enough information to tackle the original question. Unlike CoT, SOCRATIC QUESTIONING explicitly navigates the thinking space, stimulates effective recursive thinking, and is more robust towards errors in the thinking process. Extensive experiments on several complex reasoning tasks, including MMLU, MATH, LogiQA, and visual question-answering demonstrate significant performance improvements over the state-of-the-art prompting methods, such as CoT, and Tree-of-Thought. The qualitative analysis clearly shows that the intermediate reasoning steps elicited by SOCRATIC QUESTIONING are similar to humans' recursively thinking process of complex reasoning problems.
• Abstract（参考訳）: CoT(Chain-of-Thought)は、中間ステップを生成することで、大規模言語モデルによる複雑な推論問題の解決を可能にする。 しかし、CoTは固有のシングルパスとシーケンシャルな生成プロセスに制限され、初期決定に大きく依存し、初期ステップでエラーが発生し、最終回答に影響を及ぼす。 対照的に、人間は複雑な推論問題に取り組む際に再帰的思考を採用する、すなわち、元の問題をアプローチ可能なサブプロブレムに反復的に分解し、元の問題を解くために答えを集約する。 人間の認知過程に触発され,再帰的思考過程を模倣する分割・対数型アルゴリズムであるSOCRATIC QUESTIONINGを提案する。 具体的には、socratic questioningは、大きな言語モデルを利用してサブクエスチョーションを収集し、元の質問に取り組むのに十分な情報を集める。 CoTとは異なり、SOCRATIC QUESTIONINGは思考空間を明示的にナビゲートし、効果的な再帰的思考を刺激し、思考プロセスのエラーに対してより堅牢である。 MMLU、MATH、LogiQA、視覚的質問応答などの複雑な推論タスクに対する広範な実験は、CoTやTree-of-Thoughtといった最先端のプロンプト手法よりも大幅に改善されている。 定性的な分析により,SOCRATIC QUESTIONINGによって引き起こされた中間的推論ステップが,複雑な推論問題の再帰的思考過程に類似していることが明らかとなった。

関連論文リスト

• Supervised Chain of Thought [5.389461633686935]
  Chain of Thought (CoT)は複雑な推論タスクを解決するための有望なアプローチを提供する。 ワンプロンプト・フォー・オールアプローチは、正しい推論ステップを生成するためにモデルに重大な課題をもたらす。 タスク固有の監督が、プロンプト空間を正確にナビゲートし、最適な性能を達成するためにいかに重要であるかを示す。
  論文  参考訳（メタデータ） (2024-10-18T06:25:27Z)
• Advancing Algorithmic Approaches to Probabilistic Argumentation under the Constellation Approach [0.0]
  完全拡張である引数の集合の確率を計算する複雑なタスクのアルゴリズムを開発する。 実験的評価は我々のアプローチの可能性を示唆している。
  論文  参考訳（メタデータ） (2024-07-06T12:08:38Z)
• Chain of Thoughtlessness? An Analysis of CoT in Planning [17.329365493094542]
  推論問題におけるLLM(Large Language Model)のパフォーマンスは通常、分布から一般化しない。 本稿では,古典的計画領域であるBlocksworldの問題に対する思考連鎖のケーススタディを示す。 それらのプロンプトが問題クラスに特有である場合、一連の思考プロンプトから有意義なパフォーマンス改善が得られます。
  論文  参考訳（メタデータ） (2024-05-08T02:48:28Z)
• Boosting of Thoughts: Trial-and-Error Problem Solving with Large Language Models [48.43678591317425]
  Boosting of Thoughts (BoT)は、大規模言語モデルによる問題解決のための自動プロンプトフレームワークである。 我々は,BoTが他の先進的なプロンプト手法よりも高い,あるいは同等の問題解決率を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-17T00:13:36Z)
• Recursion of Thought: A Divide-and-Conquer Approach to Multi-Context Reasoning with Language Models [58.41943058963672]
  我々はRecursion of Thought (RoT)と呼ばれる新しい推論フレームワークを提案する。 RoTはいくつかの特別なトークンを導入し、モデルが出力してコンテキスト関連の操作をトリガーする。 GPT-3を含む複数のアーキテクチャの実験により、RoTは問題を解くためにLMの推論能力を劇的に改善した。
  論文  参考訳（メタデータ） (2023-06-12T06:34:16Z)
• Self-Polish: Enhance Reasoning in Large Language Models via Problem Refinement [50.62461749446111]
  Self-Polish(SP)は、与えられた問題を徐々に洗練し、より理解しやすく解けるように誘導することによって、モデルの推論を促進する新しい方法である。 SPは、CoTのような答え/推論サイドの他のすべてのプロンプトメソッドであり、最先端の技術とのシームレスな統合を可能にし、さらなる改善を可能にします。
  論文  参考訳（メタデータ） (2023-05-23T19:58:30Z)
• Chaining Simultaneous Thoughts for Numerical Reasoning [92.2007997126144]
  テキストによる数値推論は、AIシステムにとって不可欠なスキルであるべきです。 これまでの研究は方程式の構造をモデル化することに集中し、様々な構造化デコーダを提案してきた。 我々は、有向非巡回グラフを用いてステップを推論する数値推論器CANTORを提案する。
  論文  参考訳（メタデータ） (2022-11-29T18:52:06Z)
• End-to-end Algorithm Synthesis with Recurrent Networks: Logical Extrapolation Without Overthinking [52.05847268235338]
  機械学習システムが問題を過度に考えずに論理的外挿を行う方法を示す。 本稿では,問題インスタンスの明示的なコピーをメモリに保持して,それを忘れないようにするリコールアーキテクチャを提案する。 また、モデルが数に固有の行動を学ぶのを防ぎ、無期限に繰り返される行動を学ぶためにモデルをプッシュするプログレッシブトレーニングルーチンも採用しています。
  論文  参考訳（メタデータ） (2022-02-11T18:43:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。