論文の概要: Deductive Additivity for Planning of Natural Language Proofs

• arxiv url: http://arxiv.org/abs/2307.02472v2
• Date: Thu, 6 Jul 2023 02:16:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-07 11:03:15.501278
• Title: Deductive Additivity for Planning of Natural Language Proofs
• Title（参考訳）: 自然言語証明計画のための帰納的加法
• Authors: Zayne Sprague, Kaj Bostrom, Swarat Chaudhuri, Greg Durrett
• Abstract要約: 帰納的推論に適合する埋め込み空間によって効率的な計画が可能かどうかを検討する。 その結果, 標準埋め込み手法は, 前提の総和付近に結論を埋め込むことが多いが, 有効性に欠け, 推論の特定のカテゴリをモデル化する能力が欠如していることが示唆された。
• 参考スコア（独自算出の注目度）: 43.93269297653265
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current natural language systems designed for multi-step claim validation typically operate in two phases: retrieve a set of relevant premise statements using heuristics (planning), then generate novel conclusions from those statements using a large language model (deduction). The planning step often requires expensive Transformer operations and does not scale to arbitrary numbers of premise statements. In this paper, we investigate whether an efficient planning heuristic is possible via embedding spaces compatible with deductive reasoning. Specifically, we evaluate whether embedding spaces exhibit a property we call deductive additivity: the sum of premise statement embeddings should be close to embeddings of conclusions based on those premises. We explore multiple sources of off-the-shelf dense embeddings in addition to fine-tuned embeddings from GPT3 and sparse embeddings from BM25. We study embedding models both intrinsically, evaluating whether the property of deductive additivity holds, and extrinsically, using them to assist planning in natural language proof generation. Lastly, we create a dataset, Single-Step Reasoning Contrast (SSRC), to further probe performance on various reasoning types. Our findings suggest that while standard embedding methods frequently embed conclusions near the sums of their premises, they fall short of being effective heuristics and lack the ability to model certain categories of reasoning.
• Abstract（参考訳）: マルチステップのクレーム検証のために設計された現在の自然言語システムは、2つのフェーズで運用される: ヒューリスティック(計画)を用いて関連する前提文の集合を検索し、大きな言語モデル(推論)を使用してそれらのステートメントから新しい結論を生成する。 計画ステップは、しばしば高価なトランスフォーマー操作を必要とし、任意の数の前提ステートメントにスケールしない。 本稿では,帰納的推論に適合する埋め込み空間を通じて,効率的な計画ヒューリスティックが可能かどうかを検討する。 具体的には、埋め込み空間が帰納的加法 (deductive additivity) と呼ばれる性質を示すかどうかを評価する: 前提文の和は、それらの前提に基づく結論の埋め込みに近いべきである。 我々は,GPT3からの細調整された埋め込みやBM25からのスパース埋め込みに加えて,既成の密着な埋め込みの複数の源を探究する。 本研究は, 帰納的加法の性質が持つか, 極端なか, 自然言語証明生成における計画支援に利用するか, 両方の組込みモデルを本質的に検討した。 最後に,Single-Step Reasoning Contrast(SSRC)というデータセットを作成し,さまざまな推論タイプのパフォーマンスを調査する。 以上より,標準組込み手法は,前提の和に近い結論をしばしば埋め込むが,それらは効果的なヒューリスティックであり,推論の特定のカテゴリをモデル化する能力に欠けることが示唆された。

関連論文リスト

• CASA: Causality-driven Argument Sufficiency Assessment [79.13496878681309]
  ゼロショット因果関係に基づく議論十分性評価フレームワークであるCASAを提案する。 PSは前提イベントの導入が前提イベントと結論イベントの両方が欠落した場合の結論につながる可能性を測っている。 2つの論理的誤り検出データセットの実験により、CASAは不十分な議論を正確に識別することを示した。
  論文  参考訳（メタデータ） (2024-01-10T16:21:18Z)
• Phenomenal Yet Puzzling: Testing Inductive Reasoning Capabilities of Language Models with Hypothesis Refinement [92.61557711360652]
  言語モデル(LM)は、しばしば帰納的推論に不足する。 我々は,反復的仮説修正を通じて,LMの帰納的推論能力を体系的に研究する。 本研究は, LMの誘導的推論過程と人間とのいくつかの相違点を明らかにし, 誘導的推論タスクにおけるLMの使用の可能性と限界に光を当てる。
  論文  参考訳（メタデータ） (2023-10-12T17:51:10Z)
• Hypothesis Search: Inductive Reasoning with Language Models [39.03846394586811]
  最近の研究は「文脈学習」を直接促すことで帰納的推論タスクにおける大規模言語モデルの評価を行っている これは単純な帰納的タスクではうまく機能するが、Abstraction and Reasoning Corpus (ARC)のような複雑なタスクではうまく機能しない。 本研究では,複数の抽象レベルで明示的な仮説を生成することにより,LLMの帰納的推論能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-09-11T17:56:57Z)
• A Semantic Approach to Decidability in Epistemic Planning (Extended Version) [72.77805489645604]
  我々は決定可能性を達成するために新しい意味論的アプローチを用いる。 具体的には、知識の論理S5$_n$と(知識)可換性と呼ばれる相互作用公理を拡大する。 我々は,本フレームワークが,独立した知識である共通知識の有限的非固定点的特徴を認めていることを証明した。
  論文  参考訳（メタデータ） (2023-07-28T11:26:26Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Abductive Commonsense Reasoning Exploiting Mutually Exclusive Explanations [118.0818807474809]
  帰納的推論は、イベントのもっともらしい説明を見つけることを目的としている。 自然言語処理における帰納的推論のための既存のアプローチは、しばしば監督のために手動で生成されたアノテーションに依存している。 この研究は、ある文脈に対して、説明のサブセットのみが正しいという事実を活用する、帰納的コモンセンス推論のアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-24T01:35:10Z)
• Natural Language Deduction with Incomplete Information [43.93269297653265]
  当初,すべての前提が明記されていないような不特定設定を処理できる新しいシステムを提案する。 自然言語生成モデルを用いて、他の前提と結論が与えられた前提を誘導的に推論することにより、結論が真であるために必要な証拠の欠落を示唆することができる。
  論文  参考訳（メタデータ） (2022-11-01T17:27:55Z)
• Language Models Are Greedy Reasoners: A Systematic Formal Analysis of Chain-of-Thought [10.524051272257614]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット・プロンプトが与えられた顕著な推論能力を示している。 本稿では, PrOntoQAと呼ばれる合成質問応答データセットを提案し, それぞれの例を合成世界モデルとして生成する。 これにより、生成された連鎖を形式解析の象徴的な証明に解析することができる。
  論文  参考訳（メタデータ） (2022-10-03T21:34:32Z)
• Natural Language Deduction through Search over Statement Compositions [43.93269297653265]
  本稿では,タスクを最優先探索で協調したステップに分解する自然言語推論システムを提案する。 実験により,提案システムは検証不可能な仮説と検証不可能な仮説をよりよく区別できることを示した。
  論文  参考訳（メタデータ） (2022-01-16T12:05:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。