論文の概要: FOLIO: Natural Language Reasoning with First-Order Logic

• arxiv url: http://arxiv.org/abs/2209.00840v1
• Date: Fri, 2 Sep 2022 06:50:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-05 12:19:36.710558
• Title: FOLIO: Natural Language Reasoning with First-Order Logic
• Title（参考訳）: FOLIO: 一階論理による自然言語推論
• Authors: Simeng Han, Hailey Schoelkopf, Yilun Zhao, Zhenting Qi, Martin Riddell, Luke Benson, Lucy Sun, Ekaterina Zubova, Yujie Qiao, Matthew Burtell, David Peng, Jonathan Fan, Yixin Liu, Brian Wong, Malcolm Sailor, Ansong Ni, Linyong Nan, Jungo Kasai, Tao Yu, Rui Zhang, Shafiq Joty, Alexander R. Fabbri, Wojciech Kryscinski, Xi Victoria Lin, Caiming Xiong, Dragomir Radev
• Abstract要約: FOLIOは、一階述語論理(FOL)アノテーションを備えた自然言語(NL)の推論のためのデータセットである。 FOLペアは論理形式としてFOLを用いた新しいNL-FOL翻訳データセットを構成する。 以上の結果から,GPT-3 davinciは,数発のプロンプトによるランダムな結果よりもわずかに優れていることがわかった。
• 参考スコア（独自算出の注目度）: 111.66631099683815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present FOLIO, a human-annotated, open-domain, and logically complex and diverse dataset for reasoning in natural language (NL), equipped with first order logic (FOL) annotations. FOLIO consists of 1,435 examples (unique conclusions), each paired with one of 487 sets of premises which serve as rules to be used to deductively reason for the validity of each conclusion. The logical correctness of premises and conclusions is ensured by their parallel FOL annotations, which are automatically verified by our FOL inference engine. In addition to the main NL reasoning task, NL-FOL pairs in FOLIO automatically constitute a new NL-FOL translation dataset using FOL as the logical form. Our experiments on FOLIO systematically evaluate the FOL reasoning ability of supervised fine-tuning on medium-sized language models (BERT, RoBERTa) and few-shot prompting on large language models (GPT-NeoX, OPT, GPT-3, Codex). For NL-FOL translation, we experiment with GPT-3 and Codex. Our results show that one of the most capable Large Language Model (LLM) publicly available, GPT-3 davinci, achieves only slightly better than random results with few-shot prompting on a subset of FOLIO, and the model is especially bad at predicting the correct truth values for False and Unknown conclusions. Our dataset and code are available at https://github.com/Yale-LILY/FOLIO.
• Abstract（参考訳）: 我々は、自然言語(NL)における推論のための、人間による注釈付き、オープンドメインで、論理的に複雑で多様なデータセットであるFOLIOについて述べる。 FOLIOは1,435の例(一意の結論)で構成され、それぞれが487の前提のうちの1つと組み合わせられ、それぞれの結論の妥当性を故意に推論するために使用される規則として機能する。 前提と結論の論理的正当性は、並列FOLアノテーションによって保証され、FOL推論エンジンによって自動的に検証される。 主要なNL推論タスクに加えて、FOLIOのNL-FOLペアは、FOLを論理形式とする新しいNL-FOL翻訳データセットを自動生成する。 本研究では,中規模言語モデル (BERT, RoBERTa) と大規模言語モデル (GPT-NeoX, OPT, GPT-3, Codex) で微調整を指導するFOL推論能力を体系的に評価した。 NL-FOL翻訳では GPT-3 と Codex を用いて実験を行った。 以上の結果から,最も有能な大規模言語モデル(LLM)の1つである GPT-3 davinci は,FOLIO のサブセットに数発のプロンプトを施したランダムな結果よりもわずかに優れており,False と Unknown の結論に対する正しい真理値の予測には特に不適当であることが示唆された。 データセットとコードはhttps://github.com/Yale-LILY/FOLIO.comで公開されています。

関連論文リスト

• Language Models of Code are Few-Shot Commonsense Learners [106.1531522893209]
  自然言語入力が与えられた場合、目標はイベントや推論グラフなどのグラフを生成することだ。 既存のアプローチは、出力グラフをノードとエッジのフラットリストとしてシリアライズする。 コード生成タスクとして構造化コモンセンス推論タスクをフレーム化する場合、事前学習されたコードLMは自然言語のLMよりも構造化コモンセンス推論タスクの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-13T16:09:36Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• Weakly Supervised Explainable Phrasal Reasoning with Neural Fuzzy Logic [24.868479255640718]
  自然言語推論は,対象ラベルであるEntailment,Contradiction,Neutralの2つの文間の論理的関係を決定することを目的としている。 ディープラーニングモデルは、NLIに対する一般的なアプローチとなっているが、解釈可能性と説明性は欠如している。 本研究では,NLIの論理的推論の弱制御による説明可能性について論じる。
  論文  参考訳（メタデータ） (2021-09-18T13:04:23Z)
• e-ViL: A Dataset and Benchmark for Natural Language Explanations in Vision-Language Tasks [52.918087305406296]
  説明可能な視覚言語タスクを評価するベンチマークe-ViLを紹介します。 また、NLEで最大のデータセットであるe-SNLI-VEについても紹介する。 画像とテキストの共同埋め込みを学習するUNITERと、予め訓練された言語モデルであるGPT-2を組み合わせた新しいモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-08T18:46:33Z)
• LIREx: Augmenting Language Inference with Relevant Explanation [1.4780878458667916]
  自然言語説明(NLE)は、アノテータがラベルをデータインスタンスに割り当てる際の有理性を識別するデータアノテーションの一種である。 nlesは人間の推論をより良く捉えているが、自然言語推論にはあまり役に立たない。 我々は、論理型説明生成器とインスタンスセレクタの両方を組み込んで、関連するNLEのみを選択する新しいフレームワーク LIREx を提案する。
  論文  参考訳（メタデータ） (2020-12-16T18:49:29Z)
• Probing the Natural Language Inference Task with Automated Reasoning Tools [6.445605125467574]
  自然言語推論(NLI)タスクは、現在のNLPにおいて重要なタスクである。 我々はNLIタスクの論理構造を調べるために他の手法を用いる。 我々は、機械指向の自然言語がNLI文のパースにどの程度うまく利用できるか、また、自動定理証明器が結果の式に対していかにうまく推論できるかを示す。
  論文  参考訳（メタデータ） (2020-05-06T03:18:11Z)
• Logical Natural Language Generation from Open-Domain Tables [107.04385677577862]
  本稿では,その事実に関連付けられた自然言語文をモデルで生成するタスクを提案する。 提案した論理的 NLG 問題の研究を容易にするために,幅広い論理的・記号的推論を特徴とする既存の TabFact データセットcitechen 2019tabfact を用いる。 新しいタスクは、シーケンス順序と論理順序のミスマッチのため、既存のモノトニック生成フレームワークに課題をもたらす。
  論文  参考訳（メタデータ） (2020-04-22T06:03:10Z)
• CodeBERT: A Pre-Trained Model for Programming and Natural Languages [117.34242908773061]
  CodeBERTは、プログラミング言語(PL)とナット言語(NL)のための事前訓練されたモデルである。 我々はTransformerベースのニューラルアーキテクチャを用いたCodeBERTを開発した。 モデルパラメータの微調整による2つのNL-PLアプリケーション上でのCodeBERTの評価を行った。
  論文  参考訳（メタデータ） (2020-02-19T13:09:07Z)
• Exploring Neural Models for Parsing Natural Language into First-Order Logic [10.62143644603835]
  英文を1次論理(FOL)に解析する際のニューラルモデルの有用性について検討する。 自然言語文が与えられた場合のシーケンスマッピングタスクとしてFOL解析をモデル化し、LSTMを用いて中間表現に符号化し、次に対応するFOL式で述語を逐次生成するデコーダを用いる。
  論文  参考訳（メタデータ） (2020-02-16T09:22:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。