論文の概要: MERIt: Meta-Path Guided Contrastive Learning for Logical Reasoning

• arxiv url: http://arxiv.org/abs/2203.00357v1
• Date: Tue, 1 Mar 2022 11:13:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-02 12:58:20.988015
• Title: MERIt: Meta-Path Guided Contrastive Learning for Logical Reasoning
• Title（参考訳）: MERIt: 論理推論のためのメタパスガイドによるコントラスト学習
• Authors: Fangkai Jiao, Yangyang Guo, Xuemeng Song, Liqiang Nie
• Abstract要約: テキストの論理的ReasonIngに対して,Metaパスを用いたコントラスト学習手法であるMERItを提案する。 2つの新しい戦略が我々の手法の必須要素である。
• 参考スコア（独自算出の注目度）: 63.50909998372667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Logical reasoning is of vital importance to natural language understanding. Previous studies either employ graph-based models to incorporate prior knowledge about logical relations, or introduce symbolic logic into neural models through data augmentation. These methods, however, heavily depend on annotated training data, and thus suffer from over-fitting and poor generalization problems due to the dataset sparsity. To address these two problems, in this paper, we propose MERIt, a MEta-path guided contrastive learning method for logical ReasonIng of text, to perform self-supervised pre-training on abundant unlabeled text data. Two novel strategies serve as indispensable components of our method. In particular, a strategy based on meta-path is devised to discover the logical structure in natural texts, followed by a counterfactual data augmentation strategy to eliminate the information shortcut induced by pre-training. The experimental results on two challenging logical reasoning benchmarks, i.e., ReClor and LogiQA, demonstrate that our method outperforms the SOTA baselines with significant improvements.
• Abstract（参考訳）: 論理的推論は自然言語理解に不可欠である。 これまでの研究では、論理関係に関する事前知識を取り入れるためにグラフモデルを採用するか、データ拡張を通じて神経モデルに記号論理を導入するかのどちらかである。 しかし、これらの手法は注釈付きトレーニングデータに大きく依存しており、データセットの分散により過度に適合し、一般化の問題に悩まされる。 そこで,本稿では,テキストの論理推論のためのメタパスガイド型コントラスト学習手法であるmeritを用いて,大量のラベルなしテキストデータに対して自己教師あり事前学習を行う。 2つの新しい戦略が我々の手法の必須要素である。 特に,自然テキストの論理構造を発見するためにメタパスに基づく戦略を考案し,さらに,事前学習によって引き起こされる情報ショートカットをなくすための反事実的データ拡張戦略を考案した。 ReClor と LogiQA という2つの難解な論理的推論ベンチマークの実験結果から,本手法がSOTA のベースラインより優れていることを示す。

関連論文リスト

• Enhancing Systematic Decompositional Natural Language Inference Using Informal Logic [51.967603572656266]
  我々は,分解包含を注釈付けするための一貫した理論的なアプローチを導入する。 我々の新しいデータセットRDTEは、前回の分解エンターメントデータセットよりもかなり高い内部整合性(+9%)を持つことがわかった。 また,RDTE による知識蒸留によるエンテーメント分類器の訓練や,エンテーメントツリー推論エンジンへの導入により,精度と検証精度が向上することが確認された。
  論文  参考訳（メタデータ） (2024-02-22T18:55:17Z)
• Modeling Hierarchical Reasoning Chains by Linking Discourse Units and Key Phrases for Reading Comprehension [80.99865844249106]
  本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。 具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
  論文  参考訳（メタデータ） (2023-06-21T07:34:27Z)
• Abstract Meaning Representation-Based Logic-Driven Data Augmentation for Logical Reasoning [27.224364543134094]
  本稿では,論理駆動型データ拡張手法AMR-LDAを提案する。 AMR-LDAは元のテキストを抽象的意味表現(AMR)グラフに変換する。 修正されたAMRグラフは、拡張データを生成するためにテキストに変換される。
  論文  参考訳（メタデータ） (2023-05-21T23:16:26Z)
• Deep Manifold Learning for Reading Comprehension and Logical Reasoning Tasks with Polytuplet Loss [0.0]
  理解と論理的推論タスクを読む機械学習モデルの開発における現在のトレンドは、論理的ルールを理解し、活用するモデルの能力を改善することに焦点を当てている。 この研究は、新しい損失関数と、他のモデルよりも解釈可能なコンポーネントを持つモデルアーキテクチャを提供することに焦点を当てている。 我々の戦略は、絶対的精度よりも相対的精度を強調し、理論的には不完全な知識で正しい答えを生成できる。
  論文  参考訳（メタデータ） (2023-04-03T14:48:34Z)
• MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text Generation [102.20036684996248]
  多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。 WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
  論文  参考訳（メタデータ） (2022-12-16T17:36:23Z)
• Evaluating Relaxations of Logic for Neural Networks: A Comprehensive Study [17.998891912502092]
  本稿では,ラベル付き例と問題に関する知識を表す論理的表現をいかに緩和するかという課題について考察する。 本稿では, 様々なシナリオにおいて, 緩和が果たす効果を評価できる理論的, 経験的基準を提案する。
  論文  参考訳（メタデータ） (2021-07-28T21:16:58Z)
• Logic-Driven Context Extension and Data Augmentation for Logical Reasoning of Text [65.24325614642223]
  論理的な記号や表現をテキストで理解し、答えにたどり着くよう提案します。 このような論理的情報に基づいて,文脈拡張フレームワークとデータ拡張アルゴリズムを提案する。 本手法は最先端の性能を実現し,論理駆動コンテキスト拡張フレームワークとデータ拡張アルゴリズムの両方が精度向上に寄与する。
  論文  参考訳（メタデータ） (2021-05-08T10:09:36Z)
• AR-LSAT: Investigating Analytical Reasoning of Text [57.1542673852013]
  テキストの分析的推論の課題を研究し、1991年から2016年までのロースクール入学試験からの質問からなる新しいデータセットを紹介します。 我々は,この課題をうまくこなすために必要な知識理解と推論能力を分析する。
  論文  参考訳（メタデータ） (2021-04-14T02:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。