論文の概要: FOLIO: Natural Language Reasoning with First-Order Logic

• arxiv url: http://arxiv.org/abs/2209.00840v2
• Date: Fri, 17 May 2024 15:06:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-20 20:53:07.341315
• Title: FOLIO: Natural Language Reasoning with First-Order Logic
• Title（参考訳）: FOLIO: 一階論理による自然言語推論
• Authors: Simeng Han, Hailey Schoelkopf, Yilun Zhao, Zhenting Qi, Martin Riddell, Wenfei Zhou, James Coady, David Peng, Yujie Qiao, Luke Benson, Lucy Sun, Alex Wardle-Solano, Hannah Szabo, Ekaterina Zubova, Matthew Burtell, Jonathan Fan, Yixin Liu, Brian Wong, Malcolm Sailor, Ansong Ni, Linyong Nan, Jungo Kasai, Tao Yu, Rui Zhang, Alexander R. Fabbri, Wojciech Kryscinski, Semih Yavuz, Ye Liu, Xi Victoria Lin, Shafiq Joty, Yingbo Zhou, Caiming Xiong, Rex Ying, Arman Cohan, Dragomir Radev,
• Abstract要約: 我々は、自然言語(NL)における推論のための人間注釈付き、論理的に複雑で多様なデータセットであるFOLIOを提示する。 FOLIOは1,430の例(一意の結論)で構成され、それぞれが487の前提のうちの1つと組み合わせて、それぞれの結論の妥当性を導出的に推論する。 NL推論とNL-FOL変換の両方において、複数の最先端言語モデルをベンチマークする。
• 参考スコア（独自算出の注目度）: 147.50480350846726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have achieved remarkable performance on a variety of natural language understanding tasks. However, existing benchmarks are inadequate in measuring the complex logical reasoning capabilities of a model. We present FOLIO, a human-annotated, logically complex and diverse dataset for reasoning in natural language (NL), equipped with first-order logic (FOL) annotations. FOLIO consists of 1,430 examples (unique conclusions), each paired with one of 487 sets of premises used to deductively reason for the validity of each conclusion. The logical correctness of the premises and conclusions is ensured by their FOL annotations, which are automatically verified by an FOL inference engine. In addition to the main NL reasoning task, NL-FOL pairs in FOLIO constitute a new NL-FOL translation dataset. Our experiments on FOLIO systematically evaluate the FOL reasoning ability of supervised fine-tuning on medium-sized language models. For both NL reasoning and NL-FOL translation, we benchmark multiple state-of-the-art language models. Our results show that a subset of FOLIO presents a challenge for one of the most capable {Large Language Model (LLM)} publicly available, GPT-4.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な自然言語理解タスクにおいて顕著なパフォーマンスを達成した。 しかし、既存のベンチマークはモデルの複雑な論理的推論能力を測定するのに不十分である。 我々は、自然言語(NL)における推論のための人間注釈付き、論理的に複雑で多様なデータセットであるFOLIOを、一階述語論理(FOL)アノテーションを備える。 FOLIOは1,430の例(一意の結論)で構成され、それぞれが487の前提のうちの1つと組み合わせて、それぞれの結論の妥当性を導出的に推論する。 前提と結論の論理的正しさはFOLアノテーションによって保証され、FOL推論エンジンによって自動的に検証される。 主要なNL推論タスクに加えて、FOLIOのNL-FOLペアは、新しいNL-FOL翻訳データセットを構成する。 FOLIOに関する実験は,中規模言語モデルにおける教師付き微調整のFOL推論能力を体系的に評価する。 NL推論とNL-FOL変換の両方において、複数の最先端言語モデルをベンチマークする。 以上の結果から,FOLIOのサブセットは,最も有能な言語モデル(LLM)の1つであるGPT-4の課題であることがわかった。

関連論文リスト

• Unraveling the Dominance of Large Language Models Over Transformer Models for Bangla Natural Language Inference: A Comprehensive Study [0.0]
  自然言語推論(NLI)は自然言語処理(NLP)の基盤である 本研究では,ベンガル語のような低リソース言語におけるLLM(Large Language Models)の評価について検討した。
  論文  参考訳（メタデータ） (2024-05-05T13:57:05Z)
• LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
  最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
  論文  参考訳（メタデータ） (2024-04-23T21:08:49Z)
• CIF-Bench: A Chinese Instruction-Following Benchmark for Evaluating the Generalizability of Large Language Models [53.9835961434552]
  本研究では,中国語に対する大規模言語モデル(LLM)の一般化性を評価するために,中国語命令追跡ベンチマーク(CIF-Bench)を導入する。 CIF-Benchは150のタスクと15,000の入力出力ペアで構成され、複雑な推論と中国の文化的ニュアンスをテストするためにネイティブスピーカーによって開発された。 データ汚染を軽減するため、データセットの半分しか公開せず、残りは非公開であり、スコア分散を最小限に抑えるために多種多様な命令を導入する。
  論文  参考訳（メタデータ） (2024-02-20T16:02:12Z)
• Native Language Identification with Large Language Models [60.80452362519818]
  我々はGPTモデルがNLI分類に熟練していることを示し、GPT-4は0ショット設定でベンチマーク11テストセットで91.7%の新たなパフォーマンス記録を樹立した。 また、従来の完全教師付き設定とは異なり、LLMは既知のクラスに制限されずにNLIを実行できることを示す。
  論文  参考訳（メタデータ） (2023-12-13T00:52:15Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• Foundations of Symbolic Languages for Model Interpretability [2.3361634876233817]
  本稿では,2種類のMLモデル上でのFOILクエリの計算複雑性について検討する。 本稿では,高レベルの宣言型言語でラップされたFOILのプロトタイプ実装について述べる。
  論文  参考訳（メタデータ） (2021-10-05T21:56:52Z)
• Weakly Supervised Explainable Phrasal Reasoning with Neural Fuzzy Logic [24.868479255640718]
  自然言語推論は,対象ラベルであるEntailment,Contradiction,Neutralの2つの文間の論理的関係を決定することを目的としている。 ディープラーニングモデルは、NLIに対する一般的なアプローチとなっているが、解釈可能性と説明性は欠如している。 本研究では,NLIの論理的推論の弱制御による説明可能性について論じる。
  論文  参考訳（メタデータ） (2021-09-18T13:04:23Z)
• LIREx: Augmenting Language Inference with Relevant Explanation [1.4780878458667916]
  自然言語説明(NLE)は、アノテータがラベルをデータインスタンスに割り当てる際の有理性を識別するデータアノテーションの一種である。 nlesは人間の推論をより良く捉えているが、自然言語推論にはあまり役に立たない。 我々は、論理型説明生成器とインスタンスセレクタの両方を組み込んで、関連するNLEのみを選択する新しいフレームワーク LIREx を提案する。
  論文  参考訳（メタデータ） (2020-12-16T18:49:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。