論文の概要: Contrastive Learning with Logic-driven Data Augmentation for Logical
Reasoning over Text
- arxiv url: http://arxiv.org/abs/2305.12599v1
- Date: Sun, 21 May 2023 23:16:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 19:14:54.046666
- Title: Contrastive Learning with Logic-driven Data Augmentation for Logical
Reasoning over Text
- Title（参考訳）: テキストによる論理推論のための論理駆動データ拡張によるコントラスト学習
- Authors: Qiming Bao, Alex Yuxuan Peng, Zhenyun Deng, Wanjun Zhong, Neset Tan,
Nathan Young, Yang Chen, Yonghua Zhu, Michael Witbrock, Jiamou Liu
- Abstract要約: 本稿では,論理等価データを生成するためのAMR-LE法を提案する。
我々のモデルは、ReClor、LogiQA、MNLI、MRPC、RTE、QNLI、QQPを含む7つの下流タスクでより良いパフォーマンスを示す。
- 参考スコア（独自算出の注目度）: 14.307322111780195
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Pre-trained large language model (LLM) is under exploration to perform NLP
tasks that may require logical reasoning. Logic-driven data augmentation for
representation learning has been shown to improve the performance of tasks
requiring logical reasoning, but most of these data rely on designed templates
and therefore lack generalization. In this regard, we propose an AMR-based
logical equivalence-driven data augmentation method (AMR-LE) for generating
logically equivalent data. Specifically, we first parse a text into the form of
an AMR graph, next apply four logical equivalence laws (contraposition, double
negation, commutative and implication laws) on the AMR graph to construct a
logically equivalent/inequivalent AMR graph, and then convert it into a
logically equivalent/inequivalent sentence. To help the model to better learn
these logical equivalence laws, we propose a logical equivalence-driven
contrastive learning training paradigm, which aims to distinguish the
difference between logical equivalence and inequivalence. Our AMR-LE (Ensemble)
achieves #2 on the ReClor leaderboard
https://eval.ai/web/challenges/challenge-page/503/leaderboard/1347 . Our model
shows better performance on seven downstream tasks, including ReClor, LogiQA,
MNLI, MRPC, RTE, QNLI, and QQP. The source code and dataset are public at
https://github.com/Strong-AI-Lab/Logical-Equivalence-driven-AMR-Data-Augmentation-for-Representation -Learning .
- Abstract（参考訳）: 事前訓練された大規模言語モデル(LLM)は、論理的推論を必要とするNLPタスクを実行するために検討中である。
表現学習のための論理駆動データ拡張は、論理推論を必要とするタスクのパフォーマンスを改善することが示されているが、これらのデータのほとんどは、設計されたテンプレートに依存しているため、一般化が欠如している。
本稿では,論理等価データを生成するためのAMR-LE法を提案する。
具体的には、まずテキストをAMRグラフの形式に解析し、次にAMRグラフに4つの論理同値法則(矛盾、二重否定、可換および含意法則)を適用して、論理等価かつ等価なAMRグラフを構築し、論理等価かつ等価な文に変換する。
モデルがこれらの論理同値法則をよりよく学習するために、論理同値と非同値の違いを区別する論理同値駆動コントラスト学習パラダイムを提案する。
私たちのAMR-LE(Ensemble)は、ReClorのリーダーボードhttps://eval.ai/web/challenges/challenge-page/503/ Leaderboard/1347で2位を獲得しました。
我々のモデルは、ReClor、LogiQA、MNLI、MRPC、RTE、QNLI、QQPを含む7つの下流タスクでより良いパフォーマンスを示す。
ソースコードとデータセットはhttps://github.com/Strong-AI-Lab/Logical-Equivalence-driven-AMR-Data-Augmentation-for-Representation -Learningで公開されている。
関連論文リスト
- Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning [89.89857766491475]
大規模言語モデル(LLM)に基づくKG上の複雑な推論スキーマを提案する。
任意の一階論理クエリを二分木分解により拡張し、LLMの推論能力を刺激する。
広く使われているデータセットに対する実験では、LACTは高度な手法よりも大幅に改善されている(平均+5.5% MRRスコア)。
論文 参考訳（メタデータ） (2024-05-02T18:12:08Z) - LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。
提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。
GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
論文 参考訳（メタデータ） (2024-01-01T13:53:53Z) - Prompt-based Logical Semantics Enhancement for Implicit Discourse
Relation Recognition [4.7938839332508945]
Inlicit Discourse Relation Recognition (IDRR) のための Prompt-based Logical Semantics Enhancement (PLSE) 法を提案する。
提案手法は,事前学習した言語モデルに対する対話関係に関する知識を,素早い接続予測によってシームレスに注入する。
PDTB 2.0 と CoNLL16 データセットによる実験結果から,本手法は現状の最先端モデルに対して優れた一貫した性能を発揮することが示された。
論文 参考訳（メタデータ） (2023-11-01T08:38:08Z) - EXPLAIN, EDIT, GENERATE: Rationale-Sensitive Counterfactual Data
Augmentation for Multi-hop Fact Verification [28.453817513380276]
言語学的に多様でラベルに富む対物を生成するための有理感な手法を開発した。
具体的には、多様で流動的なカウンターファクトは、Explain-Edit-Generateアーキテクチャを介して生成される。
実験の結果,提案手法はSOTAベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-10-23T02:39:14Z) - Assessing and Enhancing the Robustness of Large Language Models with Task Structure Variations for Logical Reasoning [25.496627355906966]
我々は「ReClor-plus」、「LogiQA-plus」、「LogiQAv2-plus」という3つの新しい論理推論データセットを開発した。
実験により、これらの単純な拡張がモデルの性能を著しく損なうことが示されている。
微調整とプロンプトのためのロジック駆動型データ拡張の適用は、識別モデルと生成モデルの両方における一般化を促進することができる。
論文 参考訳（メタデータ） (2023-10-13T22:29:15Z) - MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text
Generation [102.20036684996248]
多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。
WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
論文 参考訳（メタデータ） (2022-12-16T17:36:23Z) - MERIt: Meta-Path Guided Contrastive Learning for Logical Reasoning [63.50909998372667]
テキストの論理的ReasonIngに対して,Metaパスを用いたコントラスト学習手法であるMERItを提案する。
2つの新しい戦略が我々の手法の必須要素である。
論文 参考訳（メタデータ） (2022-03-01T11:13:00Z) - Making a (Counterfactual) Difference One Rationale at a Time [5.97507595130844]
本研究では,人的支援を伴わない反現実的データ拡張が,セレクタの性能を向上させることができるかどうかを考察する。
以上の結果から,CDAは関心のシグナルをよりよく捉えた合理性を生み出すことが示唆された。
論文 参考訳（メタデータ） (2022-01-13T19:05:02Z) - Logic-Driven Context Extension and Data Augmentation for Logical
Reasoning of Text [65.24325614642223]
論理的な記号や表現をテキストで理解し、答えにたどり着くよう提案します。
このような論理的情報に基づいて,文脈拡張フレームワークとデータ拡張アルゴリズムを提案する。
本手法は最先端の性能を実現し,論理駆動コンテキスト拡張フレームワークとデータ拡張アルゴリズムの両方が精度向上に寄与する。
論文 参考訳（メタデータ） (2021-05-08T10:09:36Z) - Lightweight, Dynamic Graph Convolutional Networks for AMR-to-Text
Generation [56.73834525802723]
軽量な動的グラフ畳み込みネットワーク (LDGCN) を提案する。
LDGCNは入力グラフから高次情報を合成することにより、よりリッチな非局所的な相互作用をキャプチャする。
我々は,グループグラフの畳み込みと重み付き畳み込みに基づく2つの新しいパラメータ保存戦略を開発し,メモリ使用量とモデル複雑性を低減する。
論文 参考訳（メタデータ） (2020-10-09T06:03:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。