論文の概要: FOLIO: Natural Language Reasoning with First-Order Logic
- arxiv url: http://arxiv.org/abs/2209.00840v1
- Date: Fri, 2 Sep 2022 06:50:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-05 12:19:36.710558
- Title: FOLIO: Natural Language Reasoning with First-Order Logic
- Title(参考訳): FOLIO: 一階論理による自然言語推論
- Authors: Simeng Han, Hailey Schoelkopf, Yilun Zhao, Zhenting Qi, Martin
Riddell, Luke Benson, Lucy Sun, Ekaterina Zubova, Yujie Qiao, Matthew
Burtell, David Peng, Jonathan Fan, Yixin Liu, Brian Wong, Malcolm Sailor,
Ansong Ni, Linyong Nan, Jungo Kasai, Tao Yu, Rui Zhang, Shafiq Joty,
Alexander R. Fabbri, Wojciech Kryscinski, Xi Victoria Lin, Caiming Xiong,
Dragomir Radev
- Abstract要約: FOLIOは、一階述語論理(FOL)アノテーションを備えた自然言語(NL)の推論のためのデータセットである。
FOLペアは論理形式としてFOLを用いた新しいNL-FOL翻訳データセットを構成する。
以上の結果から,GPT-3 davinciは,数発のプロンプトによるランダムな結果よりもわずかに優れていることがわかった。
- 参考スコア(独自算出の注目度): 111.66631099683815
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present FOLIO, a human-annotated, open-domain, and logically complex and
diverse dataset for reasoning in natural language (NL), equipped with first
order logic (FOL) annotations. FOLIO consists of 1,435 examples (unique
conclusions), each paired with one of 487 sets of premises which serve as rules
to be used to deductively reason for the validity of each conclusion. The
logical correctness of premises and conclusions is ensured by their parallel
FOL annotations, which are automatically verified by our FOL inference engine.
In addition to the main NL reasoning task, NL-FOL pairs in FOLIO automatically
constitute a new NL-FOL translation dataset using FOL as the logical form. Our
experiments on FOLIO systematically evaluate the FOL reasoning ability of
supervised fine-tuning on medium-sized language models (BERT, RoBERTa) and
few-shot prompting on large language models (GPT-NeoX, OPT, GPT-3, Codex). For
NL-FOL translation, we experiment with GPT-3 and Codex. Our results show that
one of the most capable Large Language Model (LLM) publicly available, GPT-3
davinci, achieves only slightly better than random results with few-shot
prompting on a subset of FOLIO, and the model is especially bad at predicting
the correct truth values for False and Unknown conclusions. Our dataset and
code are available at https://github.com/Yale-LILY/FOLIO.
- Abstract(参考訳): 我々は、自然言語(NL)における推論のための、人間による注釈付き、オープンドメインで、論理的に複雑で多様なデータセットであるFOLIOについて述べる。
FOLIOは1,435の例(一意の結論)で構成され、それぞれが487の前提のうちの1つと組み合わせられ、それぞれの結論の妥当性を故意に推論するために使用される規則として機能する。
前提と結論の論理的正当性は、並列FOLアノテーションによって保証され、FOL推論エンジンによって自動的に検証される。
主要なNL推論タスクに加えて、FOLIOのNL-FOLペアは、FOLを論理形式とする新しいNL-FOL翻訳データセットを自動生成する。
本研究では,中規模言語モデル (BERT, RoBERTa) と大規模言語モデル (GPT-NeoX, OPT, GPT-3, Codex) で微調整を指導するFOL推論能力を体系的に評価した。
NL-FOL翻訳では GPT-3 と Codex を用いて実験を行った。
以上の結果から,最も有能な大規模言語モデル(LLM)の1つである GPT-3 davinci は,FOLIO のサブセットに数発のプロンプトを施したランダムな結果よりもわずかに優れており,False と Unknown の結論に対する正しい真理値の予測には特に不適当であることが示唆された。
データセットとコードはhttps://github.com/Yale-LILY/FOLIO.comで公開されています。
関連論文リスト
- Unlocking the Potential of Large Language Models for Explainable
Recommendations [55.29843710657637]
説明ジェネレータを最近登場した大規模言語モデル(LLM)に置き換える影響は、まだ不明である。
本研究では,シンプルで効果的な2段階説明可能なレコメンデーションフレームワークであるLLMXRecを提案する。
いくつかの重要な微調整技術を採用することで、制御可能で流動的な説明が十分に生成できる。
論文 参考訳(メタデータ) (2023-12-25T09:09:54Z) - Native Language Identification with Large Language Models [60.80452362519818]
我々はGPTモデルがNLI分類に熟練していることを示し、GPT-4は0ショット設定でベンチマーク11テストセットで91.7%の新たなパフォーマンス記録を樹立した。
また、従来の完全教師付き設定とは異なり、LLMは既知のクラスに制限されずにNLIを実行できることを示す。
論文 参考訳(メタデータ) (2023-12-13T00:52:15Z) - LINC: A Neurosymbolic Approach for Logical Reasoning by Combining
Language Models with First-Order Logic Provers [60.009969929857704]
論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。
本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。
我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
論文 参考訳(メタデータ) (2023-10-23T17:58:40Z) - Harnessing the Power of Large Language Models for Natural Language to
First-Order Logic Translation [11.663380583835288]
本稿では,単一GPU上でLoRAを用いたNL-FOL翻訳のためのモデルであるLogicLLaMAを紹介する。
LogicLLaMAは、自然言語を直接FOLルールに変換することができ、GPT-3.5より優れている。
また、GPT-3.5で予測されるFOLルールの修正も可能で、GPT-4と同等の性能をコストのごく一部で達成できる。
論文 参考訳(メタデータ) (2023-05-24T19:59:51Z) - Training Language Models with Language Feedback at Scale [50.70091340506957]
我々は、より情報的な言語フィードバックを利用する新しいアプローチであるLanguage Feedback (ILF)から学習を導入する。
ILFは3つのステップから成り、まず言語モデルを入力に条件付けし、最初のLM出力を出力し、改善を生成する。
理論的には、ILFは人間からのフィードバックによる強化学習と同様、ベイズ推論とみなすことができる。
論文 参考訳(メタデータ) (2023-03-28T17:04:15Z) - Weakly Supervised Explainable Phrasal Reasoning with Neural Fuzzy Logic [24.868479255640718]
自然言語推論は,対象ラベルであるEntailment,Contradiction,Neutralの2つの文間の論理的関係を決定することを目的としている。
ディープラーニングモデルは、NLIに対する一般的なアプローチとなっているが、解釈可能性と説明性は欠如している。
本研究では,NLIの論理的推論の弱制御による説明可能性について論じる。
論文 参考訳(メタデータ) (2021-09-18T13:04:23Z) - LIREx: Augmenting Language Inference with Relevant Explanation [1.4780878458667916]
自然言語説明(NLE)は、アノテータがラベルをデータインスタンスに割り当てる際の有理性を識別するデータアノテーションの一種である。
nlesは人間の推論をより良く捉えているが、自然言語推論にはあまり役に立たない。
我々は、論理型説明生成器とインスタンスセレクタの両方を組み込んで、関連するNLEのみを選択する新しいフレームワーク LIREx を提案する。
論文 参考訳(メタデータ) (2020-12-16T18:49:29Z) - CodeBERT: A Pre-Trained Model for Programming and Natural Languages [117.34242908773061]
CodeBERTは、プログラミング言語(PL)とナット言語(NL)のための事前訓練されたモデルである。
我々はTransformerベースのニューラルアーキテクチャを用いたCodeBERTを開発した。
モデルパラメータの微調整による2つのNL-PLアプリケーション上でのCodeBERTの評価を行った。
論文 参考訳(メタデータ) (2020-02-19T13:09:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。