論文の概要: SymBa: Symbolic Backward Chaining for Structured Natural Language Reasoning
- arxiv url: http://arxiv.org/abs/2402.12806v3
- Date: Fri, 18 Oct 2024 18:10:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:13:49.610404
- Title: SymBa: Symbolic Backward Chaining for Structured Natural Language Reasoning
- Title(参考訳): SymBa: 構造化自然言語推論のためのシンボリック・バックワード・チェイン
- Authors: Jinu Lee, Wonseok Hwang,
- Abstract要約: 我々はシンボリック・ソルバとLLMを統合した新しい後方連鎖システムSymBaを提案する。
SymBa では、解法が証明過程を制御し、解法が証明を完成させるために新しい情報を必要とする場合にのみ LLM が呼び出される。
完全性を活用して、SymBaは、ベースラインと比較して、導出性、リレーショナル、および算術的推論ベンチマークの大幅な改善を実現している。
- 参考スコア(独自算出の注目度): 5.893124686141782
- License:
- Abstract: To improve the performance and explainability of LLM-based natural language reasoning, structured reasoning can be applied to generate explicitly structured proofs. Among different methods for structured reasoning, we specifically focus on backward chaining, where the proof goal is recursively decomposed to subgoals by searching and applying rules. We argue that current LLM-based backward chaining systems (e.g. Least-to-most prompting and LAMBADA) are incomplete, as they omit crucial algorithmic components identified from the classic backward chaining algorithm (SLD Resolution) in computational logic. To this end, we propose a novel backward chaining system, SymBa (Symbolic Backward Chaining), which integrates a symbolic solver and an LLM. In SymBa, the solver controls the proof process, and the LLM is only called when the solver requires new information to complete the proof. Empowered by completeness, SymBa achieves a significant improvement in deductive, relational, and arithmetic reasoning benchmarks compared to the baselines.
- Abstract(参考訳): LLMに基づく自然言語推論の性能と説明性を向上させるために、構造化推論を適用して明示的に構造化された証明を生成する。
構造化推論の様々な方法の中で、我々は特に、証明目標をルールの探索と適用によってサブゴールに再帰的に分解する後方連鎖に焦点をあてる。
計算論理における古典的後方連鎖アルゴリズム(SLD分解能)から同定された重要なアルゴリズム成分を省略するため、現在のLLMベースの後方連鎖システム(例えば、Last-to-most promptingとLAMBADA)は不完全である。
そこで本研究では,シンボリック・バックワード・チェイン(Symbic Backward Chaining)と呼ばれる,シンボリック・バックワード・チェイン(Symbic Backward Chaining)システムを提案する。
SymBa では、解法が証明過程を制御し、解法が証明を完成させるために新しい情報を必要とする場合にのみ LLM が呼び出される。
完全性を活用して、SymBaは、ベースラインと比較して、導出性、リレーショナル、および算術的推論ベンチマークの大幅な改善を実現している。
関連論文リスト
- Faithful Logical Reasoning via Symbolic Chain-of-Thought [39.94884827166363]
シンボリック表現と論理規則をChain-of-Thoughtプロンプトと統合するフレームワークであるSymbCoTを提案する。
我々は、SymbCoTがCoT法よりも大幅に改善されていることを示す。
これは、論理的推論のために記号表現と規則をCoTに結合する最初の方法である。
論文 参考訳(メタデータ) (2024-05-28T16:55:33Z) - Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。
このアプローチは、正しい答えが少数派である場合に失敗する。
階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
論文 参考訳(メタデータ) (2024-05-21T17:12:19Z) - Neuro-Symbolic Integration Brings Causal and Reliable Reasoning Proofs [102.00359477458029]
本稿では,ニューラル・シンボリック統合法について述べる。
LLMフリーのシンボリック・ソルバを用いて、知識を用いた熟考的推論を行う。
論文 参考訳(メタデータ) (2023-11-16T11:26:21Z) - LINC: A Neurosymbolic Approach for Logical Reasoning by Combining
Language Models with First-Order Logic Provers [60.009969929857704]
論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。
本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。
我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
論文 参考訳(メタデータ) (2023-10-23T17:58:40Z) - Resprompt: Residual Connection Prompting Advances Multi-Step Reasoning in Large Language Models [73.4425450752596]
チェーン・オブ・シント(CoT)のプロンプトによって、大きな言語モデル(LLM)の推論の可能性は著しく解放された。
しかし、標準的なCoTは複数の推論ステップを必要とする問題では効果が低い。
LLMにおける多段階推論を推し進める新しいプロンプト戦略であるRESPROMPTを提案する。
論文 参考訳(メタデータ) (2023-10-07T08:56:28Z) - Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in Large Language Models [81.01397924280612]
大規模言語モデル (LLM) は、ステップ・バイ・ステップ・チェーン・オブ・シークレット (CoT) をデモンストレーションとして組み込むことで、様々な推論タスクにおいて高い効果的な性能を達成することができる。
本稿では,イターCoT (Iterative bootstrapping in Chain-of-Thoughts Prompting) を導入する。
論文 参考訳(メタデータ) (2023-04-23T13:54:39Z) - LAMBADA: Backward Chaining for Automated Reasoning in Natural Language [11.096348678079574]
LAMBADAと呼ばれる逆チェインアルゴリズムは、推論を4つのサブモジュールに分解する。
LAMBADAは最先端のフォワード推論手法よりも精度が向上することを示す。
論文 参考訳(メタデータ) (2022-12-20T18:06:03Z) - Language Models Are Greedy Reasoners: A Systematic Formal Analysis of
Chain-of-Thought [10.524051272257614]
大規模言語モデル(LLM)は、チェーン・オブ・シークレット・プロンプトが与えられた顕著な推論能力を示している。
本稿では, PrOntoQAと呼ばれる合成質問応答データセットを提案し, それぞれの例を合成世界モデルとして生成する。
これにより、生成された連鎖を形式解析の象徴的な証明に解析することができる。
論文 参考訳(メタデータ) (2022-10-03T21:34:32Z) - Complexity-Based Prompting for Multi-Step Reasoning [72.0057198610614]
大規模言語モデルに対して,多段階推論を行うための課題について検討する。
中心的な疑問は、どの推論例が最も効果的なプロンプトを作るかである。
多段階推論のためのシンプルで効果的な例選択方式である複雑性ベースのプロンプトを提案する。
論文 参考訳(メタデータ) (2022-10-03T05:33:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。