論文の概要: LAMBADA: Backward Chaining for Automated Reasoning in Natural Language

• arxiv url: http://arxiv.org/abs/2212.13894v1
• Date: Tue, 20 Dec 2022 18:06:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 13:57:04.299860
• Title: LAMBADA: Backward Chaining for Automated Reasoning in Natural Language
• Title（参考訳）: LAMBADA:自然言語の自動推論のための後方チェイン
• Authors: Seyed Mehran Kazemi, Najoung Kim, Deepti Bhatia, Xin Xu, Deepak Ramachandran
• Abstract要約: 推論を4つのサブモジュールに分解するアルゴリズムを開発した。 LAMBADAは2つの難解な論理的推論データセット上で、最先端の推論手法よりも大幅な精度向上を実現していることを示す。
• 参考スコア（独自算出の注目度）: 14.358578805363024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Remarkable progress has been made on automated reasoning with knowledge specified as unstructured, natural text, by using the power of large language models (LMs) coupled with methods such as Chain-of-Thought prompting and Selection-Inference. These techniques search for proofs in the forward direction from axioms to the conclusion, which suffers from a combinatorial explosion of the search space, and thus high failure rates for problems requiring longer chains of reasoning. The classical automated reasoning literature has shown that reasoning in the backward direction (i.e. from the intended conclusion to the set of axioms that support it) is significantly more efficient at proof-finding problems. We import this intuition into the LM setting and develop a Backward Chaining algorithm, which we call LAMBADA, that decomposes reasoning into four sub-modules, each of which can be simply implemented by few-shot prompted LM inference. We show that LAMBADA achieves massive accuracy boosts over state-of-the-art forward reasoning methods on two challenging logical reasoning datasets, particularly when deep and accurate proof chains are required.
• Abstract（参考訳）: 大規模言語モデル(lms)のパワーとチェーン・オブ・ソート・プロンプトやセレクション・インリファレンスなどの手法を組み合わせることで、構造化されていない自然言語として指定された知識を備えた自動推論において、顕著な進歩がもたらされた。 これらの手法は、公理から結論までの前方方向の証明を探索し、これは探索空間の組合せ的爆発に悩まされ、より長い推論の連鎖を必要とする問題に対する高い失敗率となる。 古典的自動推論文学は、逆向きの推論(すなわち、意図された結論からそれを支える公理の集合まで)は証明探究問題において有意に効率的であることを示した。 我々は、この直感をLM設定にインポートし、LAMBADAと呼ばれる逆チェインアルゴリズムを開発し、推論を4つのサブモジュールに分解する。 LAMBADAは2つの挑戦的論理推論データセット、特に深層かつ正確な証明連鎖を必要とする場合において、最先端の事前推論手法よりも高精度に向上することを示す。

関連論文リスト

• LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
  最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
  論文  参考訳（メタデータ） (2024-04-23T21:08:49Z)
• Mitigating Misleading Chain-of-Thought Reasoning with Selective Filtering [59.495717939664246]
  大規模言語モデルは、複雑な問題を解くためにチェーン・オブ・ソート(CoT)推論技術を活用することで、顕著な能力を示した。 本稿では,選択フィルタリング推論(SelF-Reasoner)と呼ばれる新しい手法を提案する。 SelF-ReasonerはScienceQA、ECQA、LastLetterタスクに対して、微調整されたT5ベースラインを一貫して改善する。
  論文  参考訳（メタデータ） (2024-03-28T06:28:35Z)
• Understanding Reasoning Ability of Language Models From the Perspective of Reasoning Paths Aggregation [110.71955853831707]
  我々は、LMを、事前学習時に見られる間接的推論経路を集約することで、新たな結論を導出すると考えている。 我々は、推論経路を知識/推論グラフ上のランダムウォークパスとして定式化する。 複数のKGおよびCoTデータセットの実験と分析により、ランダムウォークパスに対するトレーニングの効果が明らかにされた。
  論文  参考訳（メタデータ） (2024-02-05T18:25:51Z)
• Neuro-Symbolic Integration Brings Causal and Reliable Reasoning Proofs [95.07757789781213]
  LLMの複雑な推論には2行のアプローチが採用されている。 1行の作業は様々な推論構造を持つLLMを誘導し、構造出力は自然に中間推論ステップと見なすことができる。 他方の行では、LCMのない宣言的解法を用いて推論処理を行い、推論精度は向上するが、解法のブラックボックスの性質により解釈性に欠ける。 具体的には,Prologインタプリタが生成した中間検索ログにアクセスし,人間可読推論に解釈可能であることを示す。
  論文  参考訳（メタデータ） (2023-11-16T11:26:21Z)
• Are LLMs Rigorous Logical Reasoner? Empowering Natural Language Proof Generation with Contrastive Stepwise Decoding [11.385103498440932]
  本稿では,論理的推論のためのモデルの能力を高めるために,負の推論経路を用いることにより,ステップワイズな証明生成に対照的な復号を導入する。 EntailmentBankの実験は、言語モデルの計画能力を実証する上で、我々の手法の成功を裏付けている。
  論文  参考訳（メタデータ） (2023-11-12T05:12:49Z)
• Implicit Chain of Thought Reasoning via Knowledge Distillation [58.80851216530288]
  思考推論ステップの連鎖を明示的に生成する代わりに、言語モデルの内部の隠れ状態を使用して暗黙の推論を行います。 このアプローチにより、明示的にチェーン・オブ・シントなしでは解決不可能なタスクを、非チェーン・オブ・シントに匹敵する速度で解決できることが分かりました。
  論文  参考訳（メタデータ） (2023-11-02T17:59:49Z)
• Boosting Language Models Reasoning with Chain-of-Knowledge Prompting [18.326858925174605]
  CoK(Chain-of-Knowledge)は、構造三重の形で明確な知識証拠を引き出すことを目的としている。 さらに, 推論チェーンの信頼性を推定するF2-Verification法を導入する。 広汎な実験により,本手法はコモンセンス,事実,記号,算術的推論タスクの性能をさらに向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-06-10T12:42:36Z)
• Language Models Are Greedy Reasoners: A Systematic Formal Analysis of Chain-of-Thought [10.524051272257614]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット・プロンプトが与えられた顕著な推論能力を示している。 本稿では, PrOntoQAと呼ばれる合成質問応答データセットを提案し, それぞれの例を合成世界モデルとして生成する。 これにより、生成された連鎖を形式解析の象徴的な証明に解析することができる。
  論文  参考訳（メタデータ） (2022-10-03T21:34:32Z)
• Complexity-Based Prompting for Multi-Step Reasoning [72.0057198610614]
  大規模言語モデルに対して,多段階推論を行うための課題について検討する。 中心的な疑問は、どの推論例が最も効果的なプロンプトを作るかである。 多段階推論のためのシンプルで効果的な例選択方式である複雑性ベースのプロンプトを提案する。
  論文  参考訳（メタデータ） (2022-10-03T05:33:27Z)
• Faithful Reasoning Using Large Language Models [12.132449274592668]
  因果構造が問題の根底にある論理構造を反映するプロセスを通じて、LMを忠実な多段階推論を行う方法を示す。 我々の手法は、各ステップが2つの微調整されたLMへの呼び出しから得られる推論ステップをチェーンすることで機能する。 我々は,多段階論理推論と科学的質問応答におけるモデルの有効性を実証し,最終的な解答精度のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-30T13:44:41Z)
• Measuring Systematic Generalization in Neural Proof Generation with Transformers [24.157460902865854]
  自然言語で符号化された知識に基づいて学習すると,Transformer Language Model (TLM) が論理的推論タスクをどの程度うまく実行できるかを検討する。 具体的には、TLMを利用して自然言語の証明を生成することで、ソフトな定理証明を行う。 より長いトレーニングシーケンスで評価すると,長さ一般化の問題が観察される。
  論文  参考訳（メタデータ） (2020-09-30T16:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。