論文の概要: Natural Language Deduction with Incomplete Information
- arxiv url: http://arxiv.org/abs/2307.02472v1
- Date: Wed, 5 Jul 2023 17:45:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-06 12:36:37.678318
- Title: Natural Language Deduction with Incomplete Information
- Title(参考訳): 不完全情報を用いた自然言語推論
- Authors: Zayne Sprague, Kaj Bostrom, Swarat Chaudhuri, Greg Durrett
- Abstract要約: 当初,すべての前提が明記されていないような不特定設定を処理できる新しいシステムを提案する。
我々は、自然言語生成モデルを用いて、別の前提と結論が与えられた前提を誘導的に推論する。
システムでは,2つのフランジを双方向に探索し,導出性(前方鎖)と導出性(後方鎖)を生成する。
- 参考スコア(独自算出の注目度): 43.93269297653265
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A growing body of work studies how to answer a question or verify a claim by
generating a natural language "proof": a chain of deductive inferences yielding
the answer based on a set of premises. However, these methods can only make
sound deductions when they follow from evidence that is given. We propose a new
system that can handle the underspecified setting where not all premises are
stated at the outset; that is, additional assumptions need to be materialized
to prove a claim. By using a natural language generation model to abductively
infer a premise given another premise and a conclusion, we can impute missing
pieces of evidence needed for the conclusion to be true. Our system searches
over two fringes in a bidirectional fashion, interleaving deductive
(forward-chaining) and abductive (backward-chaining) generation steps. We
sample multiple possible outputs for each step to achieve coverage of the
search space, at the same time ensuring correctness by filtering low-quality
generations with a round-trip validation procedure. Results on a modified
version of the EntailmentBank dataset and a new dataset called Everyday Norms:
Why Not? show that abductive generation with validation can recover premises
across in- and out-of-domain settings
- Abstract(参考訳): 増大する研究機関は、自然言語を"防備"(deductive inference)として生成することで、質問に答えるか、クレームを検証する方法を研究している。
しかし、これらの手法は、与えられた証拠に従えば、音を抑えることができる。
我々は,すべての前提が最初から記述されていないような不特定な設定を処理可能な新しいシステムを提案する。
自然言語生成モデルを用いて、別の前提と結論が与えられた前提を推論することにより、結論が真であるために必要な証拠の欠如を示唆することができる。
システムでは,2つのフランジを双方向に探索し,導出性(前方鎖)と導出性(後方鎖)を生成する。
探索空間のカバレッジを達成するために,各ステップ毎に複数の可能な出力をサンプリングすると同時に,低品質世代をラウンドトリップ検証手順でフィルタリングすることで精度を確保する。
EntailmentBankデータセットの修正版とEveryday Norms: Why Not?と呼ばれる新しいデータセットの結果。
検証による帰納的生成は、ドメイン内および外部設定間での前提を回復できることを示す
関連論文リスト
- TabVer: Tabular Fact Verification with Natural Logic [11.002475880349452]
本稿では,自然論理の文脈における数値と算術関数の集合論的解釈を提案する。
大規模言語モデルを用いて,テーブル上で関数を実行することで応答するクレームの健全な部分に関する質問を生成することにより,算術式を生成する。
FEVEROUS上の数ショット設定では、71.4の精度を達成し、完全な神経的および象徴的推論モデルの両方を3.4ポイント上回る。
論文 参考訳(メタデータ) (2024-11-02T00:36:34Z) - QUITE: Quantifying Uncertainty in Natural Language Text in Bayesian Reasoning Scenarios [15.193544498311603]
本稿では,カテゴリー的確率変数と複雑な関係を持つ実世界のベイズ推論シナリオのデータセットであるQUITEを提案する。
我々は幅広い実験を行い、論理ベースのモデルが全ての推論型において、アウト・オブ・ボックスの大規模言語モデルより優れていることを発見した。
以上の結果から,ニューロシンボリックモデルが複雑な推論を改善する上で有望な方向であることを示す。
論文 参考訳(メタデータ) (2024-10-14T12:44:59Z) - Log Probabilities Are a Reliable Estimate of Semantic Plausibility in Base and Instruction-Tuned Language Models [50.15455336684986]
意味的妥当性を評価するため,LogProbsの有効性と基本的なプロンプトを評価した。
LogProbsは、直接ゼロショットプロンプトよりも、より信頼性の高いセマンティックな妥当性を提供する。
我々は,プロンプトベースの評価の時代においても,LogProbsは意味的妥当性の有用な指標である,と結論付けた。
論文 参考訳(メタデータ) (2024-03-21T22:08:44Z) - CASA: Causality-driven Argument Sufficiency Assessment [79.13496878681309]
ゼロショット因果関係に基づく議論十分性評価フレームワークであるCASAを提案する。
PSは前提イベントの導入が前提イベントと結論イベントの両方が欠落した場合の結論につながる可能性を測っている。
2つの論理的誤り検出データセットの実験により、CASAは不十分な議論を正確に識別することを示した。
論文 参考訳(メタデータ) (2024-01-10T16:21:18Z) - Phenomenal Yet Puzzling: Testing Inductive Reasoning Capabilities of Language Models with Hypothesis Refinement [92.61557711360652]
言語モデル(LM)は、しばしば帰納的推論に不足する。
我々は,反復的仮説修正を通じて,LMの帰納的推論能力を体系的に研究する。
本研究は, LMの誘導的推論過程と人間とのいくつかの相違点を明らかにし, 誘導的推論タスクにおけるLMの使用の可能性と限界に光を当てる。
論文 参考訳(メタデータ) (2023-10-12T17:51:10Z) - A Semantic Approach to Decidability in Epistemic Planning (Extended
Version) [72.77805489645604]
我々は決定可能性を達成するために新しい意味論的アプローチを用いる。
具体的には、知識の論理S5$_n$と(知識)可換性と呼ばれる相互作用公理を拡大する。
我々は,本フレームワークが,独立した知識である共通知識の有限的非固定点的特徴を認めていることを証明した。
論文 参考訳(メタデータ) (2023-07-28T11:26:26Z) - Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。
我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。
モデルはこれらの評価セットに対して中程度から低い性能を示す。
論文 参考訳(メタデータ) (2023-05-24T06:41:09Z) - Natural Language Deduction with Incomplete Information [43.93269297653265]
当初,すべての前提が明記されていないような不特定設定を処理できる新しいシステムを提案する。
自然言語生成モデルを用いて、他の前提と結論が与えられた前提を誘導的に推論することにより、結論が真であるために必要な証拠の欠落を示唆することができる。
論文 参考訳(メタデータ) (2022-11-01T17:27:55Z) - Natural Language Deduction through Search over Statement Compositions [43.93269297653265]
本稿では,タスクを最優先探索で協調したステップに分解する自然言語推論システムを提案する。
実験により,提案システムは検証不可能な仮説と検証不可能な仮説をよりよく区別できることを示した。
論文 参考訳(メタデータ) (2022-01-16T12:05:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。