論文の概要: Thought Propagation: An Analogical Approach to Complex Reasoning with Large Language Models

• arxiv url: http://arxiv.org/abs/2310.03965v2
• Date: Mon, 9 Oct 2023 00:35:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 18:52:23.919528
• Title: Thought Propagation: An Analogical Approach to Complex Reasoning with Large Language Models
• Title（参考訳）: 思考伝播:大規模言語モデルを用いた複雑な推論に対する類推的アプローチ
• Authors: Junchi Yu, Ran He, Rex Ying
• Abstract要約: 大規模言語モデルの複雑な推論能力を高めるために,textbftextitThought Propagation (TP)を提案する。 TP はまず LLM に対して,入力問題に関連する類似問題の集合を提案し,解決するよう促す。 TPは、類似問題の結果を再利用して、新しいソリューションを直接生成したり、スクラッチから得られた初期ソリューションを修正するための知識集約的な実行プランを導出する。
• 参考スコア（独自算出の注目度）: 70.76692652007469
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) have achieved remarkable success in reasoning tasks with the development of prompting methods. However, existing prompting approaches cannot reuse insights of solving similar problems and suffer from accumulated errors in multi-step reasoning, since they prompt LLMs to reason \textit{from scratch}. To address these issues, we propose \textbf{\textit{Thought Propagation} (TP)}, which explores the analogous problems and leverages their solutions to enhance the complex reasoning ability of LLMs. These analogous problems are related to the input one, with reusable solutions and problem-solving strategies. Thus, it is promising to propagate insights of solving previous analogous problems to inspire new problem-solving. To achieve this, TP first prompts LLMs to propose and solve a set of analogous problems that are related to the input one. Then, TP reuses the results of analogous problems to directly yield a new solution or derive a knowledge-intensive plan for execution to amend the initial solution obtained from scratch. TP is compatible with existing prompting approaches, allowing plug-and-play generalization and enhancement in a wide range of tasks without much labor in task-specific prompt engineering. Experiments across three challenging tasks demonstrate TP enjoys a substantial improvement over the baselines by an average of 12\% absolute increase in finding the optimal solutions in Shortest-path Reasoning, 13\% improvement of human preference in Creative Writing, and 15\% enhancement in the task completion rate of LLM-Agent Planning.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、プロンプトメソッドの開発に伴うタスクの推論において顕著な成功を収めた。 しかしながら、既存のプロンプトアプローチでは、同様の問題を解決する洞察を再利用することはできず、複数ステップの推論において累積エラーに苦しむ。 これらの問題に対処するため,我々は,類似問題を探索し,それらの解を利用してllmの複雑な推論能力を高めることを目的とした \textbf{\textit{thought propagation} (tp)} を提案する。 これらの類似問題は、再利用可能な解と問題解決戦略を持つ入力問題と関係している。 したがって、以前の類似問題を解く洞察を広め、新しい問題解決を促すことが期待されている。 これを実現するため,TP は LLM に対して,入力問題に関連する類似問題の集合を提案し,解決するよう促す。 そして、TPは、類似問題の結果を再利用して、新しい解を直接生成するか、あるいは、スクラッチから得られた初期解を修正するための知識集約的な実行計画を導出する。 TPは既存のプロンプトアプローチと互換性があり、タスク固有のプロンプトエンジニアリングに多くの労力をかけることなく、プラグイン・アンド・プレイの一般化と幅広いタスクの強化を可能にする。 3つの課題にわたる実験により、TPは、最短経路推論における最適解の発見における平均12倍の絶対的な増加、創造的記述における人間の嗜好の13倍の改善、LLM-Agent Planningのタスク完了率の15倍の強化により、ベースラインよりも大幅に改善されていることを示した。

関連論文リスト

• Gap-Filling Prompting Enhances Code-Assisted Mathematical Reasoning [0.0]
  パターン・オブ・シント(CoT)とプログラム・オブ・シント(PoT)ファインチューニング(PoT)は、LPMの知識を小さな言語モデル(SLM)に転送する一般的な方法である。 本稿では,SLMの問題解決プロセスを強化するために,新たな2段階のプロンプト戦略であるGap-Filling Prompting(GFP)を紹介する。
  論文  参考訳（メタデータ） (2024-11-08T08:52:59Z)
• Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [50.485788083202124]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。 反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
  論文  参考訳（メタデータ） (2024-10-11T23:29:20Z)
• BloomWise: Enhancing Problem-Solving capabilities of Large Language Models using Bloom's-Taxonomy-Inspired Prompts [59.83547898874152]
  我々は,Bloomの分類にインスパイアされた新しいプロンプト技術であるBloomWiseを導入し,Large Language Models(LLMs)の性能を向上させる。 より洗練された認知スキルを身につける必要性に関する決定は、LLMによる自己評価に基づいている。 4つの一般的な算数推論データセットの広範な実験において,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-05T09:27:52Z)
• Textualized Agent-Style Reasoning for Complex Tasks by Multiple Round LLM Generation [49.27250832754313]
  我々は、llmベースの自律エージェントフレームワークであるAgentCOTを紹介する。 それぞれのステップで、AgentCOTはアクションを選択し、それを実行して、証拠を裏付ける中間結果を得る。 エージェントCOTの性能を高めるための2つの新しい戦略を導入する。
  論文  参考訳（メタデータ） (2024-09-19T02:20:06Z)
• Plan of Thoughts: Heuristic-Guided Problem Solving with Large Language Models [0.0]
  言語モデルを用いた多段階問題解決のための計画的アプローチを定式化する。 ゲーム・オブ・24のタスクにおいて,既存のアプローチに比べて89.4%の優れた成功率を示す。
  論文  参考訳（メタデータ） (2024-04-29T18:51:17Z)
• Distilling Algorithmic Reasoning from LLMs via Explaining Solution Programs [2.3020018305241337]
  大きな言語モデルの推論能力を改善する効果的な方法として、明確な推論経路を蒸留する手法が登場している。 本稿では, LLM から推論能力を抽出する手法を提案する。 提案実験は,ReasonerがCoderによるプログラム実装をより効果的にガイドできることを示す。
  論文  参考訳（メタデータ） (2024-04-11T22:19:50Z)
• Boosting of Thoughts: Trial-and-Error Problem Solving with Large Language Models [48.43678591317425]
  Boosting of Thoughts (BoT)は、大規模言語モデルによる問題解決のための自動プロンプトフレームワークである。 我々は,BoTが他の先進的なプロンプト手法よりも高い,あるいは同等の問題解決率を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-17T00:13:36Z)
• Fill in the Blank: Exploring and Enhancing LLM Capabilities for Backward Reasoning in Math Word Problems [17.80128896525717]
  後向きの推論は 比較的未調査です 後方推論は 前方推論の「逆」と見なすことができます 性能改善のための3つの異なる前方推論戦略のバリエーションを提案する。
  論文  参考訳（メタデータ） (2023-10-03T12:03:06Z)
• Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
  3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。 これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。 実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
  論文  参考訳（メタデータ） (2023-05-29T23:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。