論文の概要: Deductive Additivity for Planning of Natural Language Proofs

• arxiv url: http://arxiv.org/abs/2307.02472v2
• Date: Thu, 6 Jul 2023 02:16:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-07 11:03:15.501278
• Title: Deductive Additivity for Planning of Natural Language Proofs
• Title（参考訳）: 自然言語証明計画のための帰納的加法
• Authors: Zayne Sprague, Kaj Bostrom, Swarat Chaudhuri, Greg Durrett
• Abstract要約: 帰納的推論に適合する埋め込み空間によって効率的な計画が可能かどうかを検討する。 その結果, 標準埋め込み手法は, 前提の総和付近に結論を埋め込むことが多いが, 有効性に欠け, 推論の特定のカテゴリをモデル化する能力が欠如していることが示唆された。
• 参考スコア（独自算出の注目度）: 43.93269297653265
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current natural language systems designed for multi-step claim validation typically operate in two phases: retrieve a set of relevant premise statements using heuristics (planning), then generate novel conclusions from those statements using a large language model (deduction). The planning step often requires expensive Transformer operations and does not scale to arbitrary numbers of premise statements. In this paper, we investigate whether an efficient planning heuristic is possible via embedding spaces compatible with deductive reasoning. Specifically, we evaluate whether embedding spaces exhibit a property we call deductive additivity: the sum of premise statement embeddings should be close to embeddings of conclusions based on those premises. We explore multiple sources of off-the-shelf dense embeddings in addition to fine-tuned embeddings from GPT3 and sparse embeddings from BM25. We study embedding models both intrinsically, evaluating whether the property of deductive additivity holds, and extrinsically, using them to assist planning in natural language proof generation. Lastly, we create a dataset, Single-Step Reasoning Contrast (SSRC), to further probe performance on various reasoning types. Our findings suggest that while standard embedding methods frequently embed conclusions near the sums of their premises, they fall short of being effective heuristics and lack the ability to model certain categories of reasoning.
• Abstract（参考訳）: マルチステップのクレーム検証のために設計された現在の自然言語システムは、2つのフェーズで運用される: ヒューリスティック(計画)を用いて関連する前提文の集合を検索し、大きな言語モデル(推論)を使用してそれらのステートメントから新しい結論を生成する。 計画ステップは、しばしば高価なトランスフォーマー操作を必要とし、任意の数の前提ステートメントにスケールしない。 本稿では,帰納的推論に適合する埋め込み空間を通じて,効率的な計画ヒューリスティックが可能かどうかを検討する。 具体的には、埋め込み空間が帰納的加法 (deductive additivity) と呼ばれる性質を示すかどうかを評価する: 前提文の和は、それらの前提に基づく結論の埋め込みに近いべきである。 我々は,GPT3からの細調整された埋め込みやBM25からのスパース埋め込みに加えて,既成の密着な埋め込みの複数の源を探究する。 本研究は, 帰納的加法の性質が持つか, 極端なか, 自然言語証明生成における計画支援に利用するか, 両方の組込みモデルを本質的に検討した。 最後に,Single-Step Reasoning Contrast(SSRC)というデータセットを作成し,さまざまな推論タイプのパフォーマンスを調査する。 以上より,標準組込み手法は,前提の和に近い結論をしばしば埋め込むが,それらは効果的なヒューリスティックであり,推論の特定のカテゴリをモデル化する能力に欠けることが示唆された。

関連論文リスト

• TabVer: Tabular Fact Verification with Natural Logic [11.002475880349452]
  本稿では,自然論理の文脈における数値と算術関数の集合論的解釈を提案する。 大規模言語モデルを用いて,テーブル上で関数を実行することで応答するクレームの健全な部分に関する質問を生成することにより,算術式を生成する。 FEVEROUS上の数ショット設定では、71.4の精度を達成し、完全な神経的および象徴的推論モデルの両方を3.4ポイント上回る。
  論文  参考訳（メタデータ） (2024-11-02T00:36:34Z)
• QUITE: Quantifying Uncertainty in Natural Language Text in Bayesian Reasoning Scenarios [15.193544498311603]
  本稿では,カテゴリー的確率変数と複雑な関係を持つ実世界のベイズ推論シナリオのデータセットであるQUITEを提案する。 我々は幅広い実験を行い、論理ベースのモデルが全ての推論型において、アウト・オブ・ボックスの大規模言語モデルより優れていることを発見した。 以上の結果から,ニューロシンボリックモデルが複雑な推論を改善する上で有望な方向であることを示す。
  論文  参考訳（メタデータ） (2024-10-14T12:44:59Z)
• Log Probabilities Are a Reliable Estimate of Semantic Plausibility in Base and Instruction-Tuned Language Models [50.15455336684986]
  意味的妥当性を評価するため,LogProbsの有効性と基本的なプロンプトを評価した。 LogProbsは、直接ゼロショットプロンプトよりも、より信頼性の高いセマンティックな妥当性を提供する。 我々は,プロンプトベースの評価の時代においても,LogProbsは意味的妥当性の有用な指標である,と結論付けた。
  論文  参考訳（メタデータ） (2024-03-21T22:08:44Z)
• CASA: Causality-driven Argument Sufficiency Assessment [79.13496878681309]
  ゼロショット因果関係に基づく議論十分性評価フレームワークであるCASAを提案する。 PSは前提イベントの導入が前提イベントと結論イベントの両方が欠落した場合の結論につながる可能性を測っている。 2つの論理的誤り検出データセットの実験により、CASAは不十分な議論を正確に識別することを示した。
  論文  参考訳（メタデータ） (2024-01-10T16:21:18Z)
• Phenomenal Yet Puzzling: Testing Inductive Reasoning Capabilities of Language Models with Hypothesis Refinement [92.61557711360652]
  言語モデル(LM)は、しばしば帰納的推論に不足する。 我々は,反復的仮説修正を通じて,LMの帰納的推論能力を体系的に研究する。 本研究は, LMの誘導的推論過程と人間とのいくつかの相違点を明らかにし, 誘導的推論タスクにおけるLMの使用の可能性と限界に光を当てる。
  論文  参考訳（メタデータ） (2023-10-12T17:51:10Z)
• A Semantic Approach to Decidability in Epistemic Planning (Extended Version) [72.77805489645604]
  我々は決定可能性を達成するために新しい意味論的アプローチを用いる。 具体的には、知識の論理S5$_n$と(知識)可換性と呼ばれる相互作用公理を拡大する。 我々は,本フレームワークが,独立した知識である共通知識の有限的非固定点的特徴を認めていることを証明した。
  論文  参考訳（メタデータ） (2023-07-28T11:26:26Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Natural Language Deduction with Incomplete Information [43.93269297653265]
  当初,すべての前提が明記されていないような不特定設定を処理できる新しいシステムを提案する。 自然言語生成モデルを用いて、他の前提と結論が与えられた前提を誘導的に推論することにより、結論が真であるために必要な証拠の欠落を示唆することができる。
  論文  参考訳（メタデータ） (2022-11-01T17:27:55Z)
• Natural Language Deduction through Search over Statement Compositions [43.93269297653265]
  本稿では,タスクを最優先探索で協調したステップに分解する自然言語推論システムを提案する。 実験により,提案システムは検証不可能な仮説と検証不可能な仮説をよりよく区別できることを示した。
  論文  参考訳（メタデータ） (2022-01-16T12:05:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。