論文の概要: Abstract Meaning Representation-Based Logic-Driven Data Augmentation for
Logical Reasoning
- arxiv url: http://arxiv.org/abs/2305.12599v3
- Date: Mon, 26 Feb 2024 22:44:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 22:57:16.653836
- Title: Abstract Meaning Representation-Based Logic-Driven Data Augmentation for
Logical Reasoning
- Title(参考訳): 論理推論のための抽象的表現に基づく論理駆動データ拡張
- Authors: Qiming Bao, Alex Yuxuan Peng, Zhenyun Deng, Wanjun Zhong, Gael
Gendron, Timothy Pistotti, Neset Tan, Nathan Young, Yang Chen, Yonghua Zhu,
Paul Denny, Michael Witbrock, Jiamou Liu
- Abstract要約: 本稿では,論理駆動型データ拡張手法AMR-LDAを提案する。
AMR-LDAは元のテキストを抽象的意味表現(AMR)グラフに変換する。
修正されたAMRグラフは、拡張データを生成するためにテキストに変換される。
- 参考スコア(独自算出の注目度): 27.889856898725526
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Combining large language models with logical reasoning enhances their
capacity to address problems in a robust and reliable manner. Nevertheless, the
intricate nature of logical reasoning poses challenges to gathering reliable
data from the web for building comprehensive training datasets, subsequently
affecting the performance on downstream tasks. To address this, we introduce a
novel logic-driven data augmentation approach, AMR-LDA. AMR-LDA converts the
original text into an Abstract Meaning Representation (AMR) graph, a structured
semantic representation that encapsulates the logic structure of the sentence,
upon which operations are performed to generate logically modified AMR graphs.
The modified AMR graphs are subsequently converted back into text to create
augmented data. Notably, our methodology is architecture-agnostic and enhances
both generative large language models, such as GPT-3.5 and GPT-4, through
prompt augmentation, and discriminative large language models through
contrastive learning with logic-driven data augmentation. Empirical evidence
underscores the efficacy of our proposed method with improvement in performance
across seven downstream tasks, such as reading comprehension requiring logical
reasoning, textual entailment, and natural language inference. Furthermore, our
method leads on the ReClor
leaderboard\footnote{\url{https://eval.ai/web/challenges/challenge-page/503/leaderboard/1347}}.
The source code and data are publicly
available\footnote{\url{https://bit.ly/3OWKe8r}}.
- Abstract(参考訳): 大きな言語モデルと論理的推論を組み合わせることで、堅牢で信頼性の高い方法で問題に取り組む能力が向上する。
それでも、論理的推論の複雑な性質は、総合的なトレーニングデータセットを構築するためのWebからの信頼性のあるデータ収集に困難をもたらし、その後、下流タスクのパフォーマンスに影響を及ぼす。
そこで我々はAMR-LDAという新しい論理駆動型データ拡張手法を提案する。
amr-ldaは、原文を抽象意味表現(amr)グラフに変換し、文の論理構造をカプセル化した構造的意味表現で、その操作によって論理的に修正されたamrグラフを生成する。
修正されたAMRグラフは、拡張データを生成するためにテキストに変換される。
特に,本手法は,GPT-3.5 や GPT-4 などの生成的大言語モデルと,論理駆動型データ拡張による対照的な学習による識別的大言語モデルの両方をアーキテクチャに依存しない。
実験的な証拠は,論理的推論,テキストの包含,自然言語推論など,7つの下流タスクにおける性能向上が提案手法の有効性を裏付けるものである。
さらに、この手法はreclor leaderboard\footnote{\url{https://eval.ai/web/challenges/challenge-page/503/leaderboard/1347}}に導かれる。
ソースコードとデータは、"footnote{\url{https://bit.ly/3owke8r}}"として公開されている。
関連論文リスト
- Enhancing Systematic Decompositional Natural Language Inference Using
Informal Logic [53.363888563647976]
我々は,分解包含データセットに注釈を付けるための一貫した理論的なアプローチを開発した。
得られたデータセットRDTEは,従来よりも内部整合性(+9%)が高いことがわかった。
また, 知識蒸留によるRDTE指向エンテーメント分類器の訓練や, 現代のニューロシンボリック推論エンジンへの導入により, 結果が大幅に向上することが確認された。
論文 参考訳(メタデータ) (2024-02-22T18:55:17Z) - LINC: A Neurosymbolic Approach for Logical Reasoning by Combining
Language Models with First-Order Logic Provers [60.009969929857704]
論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。
本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。
我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
論文 参考訳(メタデータ) (2023-10-23T17:58:40Z) - EXPLAIN, EDIT, GENERATE: Rationale-Sensitive Counterfactual Data
Augmentation for Multi-hop Fact Verification [28.453817513380276]
言語学的に多様でラベルに富む対物を生成するための有理感な手法を開発した。
具体的には、多様で流動的なカウンターファクトは、Explain-Edit-Generateアーキテクチャを介して生成される。
実験の結果,提案手法はSOTAベースラインよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-10-23T02:39:14Z) - APOLLO: A Simple Approach for Adaptive Pretraining of Language Models
for Logical Reasoning [73.3035118224719]
本稿では,論理的推論能力を改善した適応事前学習型言語モデルAPOLLOを提案する。
APOLLOはReClorで比較可能であり、LogiQAでベースラインを上回ります。
論文 参考訳(メタデータ) (2022-12-19T07:40:02Z) - MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text
Generation [102.20036684996248]
多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。
WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
論文 参考訳(メタデータ) (2022-12-16T17:36:23Z) - MERIt: Meta-Path Guided Contrastive Learning for Logical Reasoning [63.50909998372667]
テキストの論理的ReasonIngに対して,Metaパスを用いたコントラスト学習手法であるMERItを提案する。
2つの新しい戦略が我々の手法の必須要素である。
論文 参考訳(メタデータ) (2022-03-01T11:13:00Z) - Improving Logical-Level Natural Language Generation with
Topic-Conditioned Data Augmentation and Logical Form Generation [18.93964332724296]
本稿ではトピック条件付きデータ拡張(TopicDA)を提案し,テーブルから直接論理形式とテキスト記述を生成する。
論理形式生成(LG)はLogic2textの2つのタスクであり、テーブルのテキスト記述に基づいて有効な論理形式を生成する必要がある。
また,ラベル付きデータと拡張データの両方でLogic2textとLGモデルを併用した半教師付き学習手法を提案する。
論文 参考訳(メタデータ) (2021-12-12T13:50:18Z) - Logic-Driven Context Extension and Data Augmentation for Logical
Reasoning of Text [65.24325614642223]
論理的な記号や表現をテキストで理解し、答えにたどり着くよう提案します。
このような論理的情報に基づいて,文脈拡張フレームワークとデータ拡張アルゴリズムを提案する。
本手法は最先端の性能を実現し,論理駆動コンテキスト拡張フレームワークとデータ拡張アルゴリズムの両方が精度向上に寄与する。
論文 参考訳(メタデータ) (2021-05-08T10:09:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。