論文の概要: Does entity abstraction help generative Transformers reason?

• arxiv url: http://arxiv.org/abs/2201.01787v1
• Date: Wed, 5 Jan 2022 19:00:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-07 13:51:31.060373
• Title: Does entity abstraction help generative Transformers reason?
• Title（参考訳）: エンティティ抽象化は生成トランスフォーマーの推論に役立つか?
• Authors: Nicolas Gontier, Siva Reddy, Christopher Pal
• Abstract要約: 本稿では,事前学習したトランスフォーマーにエンティティ型抽象化を組み込むことの有用性について検討する。 論理的推論の異なる4つのNLPタスクに対して,これらの手法を検証した。
• 参考スコア（独自算出の注目度）: 8.159805544989359
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models (LMs) often struggle to reason logically or generalize in a compositional fashion. Recent work suggests that incorporating external entity knowledge can improve LMs' abilities to reason and generalize. However, the effect of explicitly providing entity abstraction remains unclear, especially with recent studies suggesting that pre-trained LMs already encode some of that knowledge in their parameters. We study the utility of incorporating entity type abstractions into pre-trained Transformers and test these methods on four NLP tasks requiring different forms of logical reasoning: (1) compositional language understanding with text-based relational reasoning (CLUTRR), (2) abductive reasoning (ProofWriter), (3) multi-hop question answering (HotpotQA), and (4) conversational question answering (CoQA). We propose and empirically explore three ways to add such abstraction: (i) as additional input embeddings, (ii) as a separate sequence to encode, and (iii) as an auxiliary prediction task for the model. Overall, our analysis demonstrates that models with abstract entity knowledge performs better than without it. However, our experiments also show that the benefits strongly depend on the technique used and the task at hand. The best abstraction aware models achieved an overall accuracy of 88.8% and 91.8% compared to the baseline model achieving 62.3% and 89.8% on CLUTRR and ProofWriter respectively. In addition, abstraction-aware models showed improved compositional generalization in both interpolation and extrapolation settings. However, for HotpotQA and CoQA, we find that F1 scores improve by only 0.5% on average. Our results suggest that the benefit of explicit abstraction is significant in formally defined logical reasoning settings requiring many reasoning hops, but point to the notion that it is less beneficial for NLP tasks having less formal logical structure.
• Abstract（参考訳）: 事前訓練された言語モデル(LM)は、しばしば論理的に論理的に、あるいは構成的に一般化するのに苦労する。 最近の研究は、外部エンティティ知識を取り入れることで、LMの推論と一般化能力を向上させることを示唆している。 しかし、特に最近の研究では、事前学習されたLMが既にその知識のいくつかをそれらのパラメータにエンコードしていることを示唆している。 本研究では,(1)テキストベース関係推論を用いた合成言語理解(CLUTRR),(2)帰納的推論(ProofWriter),(3)マルチホップ質問応答(HotpotQA),(4)対話型質問応答(CoQA)の4つのNLPタスクに対して,エンティティ型抽象化を事前学習したトランスフォーマに組み込むことの有用性を検討した。 このような抽象化を追加する3つの方法を提案し、実証的に検討する。 (i)追加入力埋め込み (ii)エンコードするための別個の配列として、及び (iii)モデルの補助予測タスクとして。 全体としては、抽象的な実体知識を持つモデルは、それなしでは機能しないことを示す。 しかし,本実験では,その効果は使用する技術と作業に強く依存することを示した。 最高の抽象化対応モデルは、CLUTRR と ProofWriter でそれぞれ 62.3% と 89.8% のベースラインモデルと比較して 88.8% と 91.8% の精度を達成した。 さらに、抽象認識モデルでは補間と補間の両方において合成一般化が改善された。 しかし,HotpotQAとCoQAでは,F1スコアは平均0.5%向上した。 以上の結果から,形式的論理構造を欠くnlpタスクにとって,明示的抽象化の利点は,多くの推論ホップを必要とする形式的論理推論設定において重要であることが示唆された。

関連論文リスト

• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• Interpretability at Scale: Identifying Causal Mechanisms in Alpaca [62.65877150123775]
  本研究では、Boundless DASを用いて、命令に従う間、大規模言語モデルにおける解釈可能な因果構造を効率的に探索する。 私たちの発見は、成長し、最も広くデプロイされている言語モデルの内部構造を忠実に理解するための第一歩です。
  論文  参考訳（メタデータ） (2023-05-15T17:15:40Z)
• Mind Reasoning Manners: Enhancing Type Perception for Generalized Zero-shot Logical Reasoning over Text [12.988062333041398]
  一般化されたゼロショット論理的推論のための新しいベンチマークであるZsLRを提案する。 問題1では、ZsLRという一般化ゼロショット論理推論のための新しいベンチマークを提案する。 問題2では,グローバル表現における型認識を改善するために,型認識モデルTaCoを提案する。
  論文  参考訳（メタデータ） (2023-01-08T05:24:34Z)
• APOLLO: A Simple Approach for Adaptive Pretraining of Language Models for Logical Reasoning [73.3035118224719]
  本稿では,論理的推論能力を改善した適応事前学習型言語モデルAPOLLOを提案する。 APOLLOはReClorで比較可能であり、LogiQAでベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-19T07:40:02Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• Modeling Multi-Granularity Hierarchical Features for Relation Extraction [26.852869800344813]
  本稿では,原文のみに基づく多粒度特徴抽出手法を提案する。 外部知識を必要とせずに,効果的な構造的特徴が達成可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-09T09:44:05Z)
• Zero-shot Commonsense Question Answering with Cloze Translation and Consistency Optimization [20.14487209460865]
  自然質問をクローズスタイルの文に翻訳できる4つの翻訳手法について検討する。 提案手法は知識ベース改良モデルと相補的なデータセットであり,それらを組み合わせることで,最先端のゼロショット性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-01-01T07:12:49Z)
• A Simple Approach to Case-Based Reasoning in Knowledge Bases [56.661396189466664]
  我々は,古典人工知能(AI)におけるケースベース推論を想起させる,アンフノトレーニングを必要とする知識グラフ(KG)における推論に対する驚くほど単純かつ正確なアプローチを提案する。 ソースエンティティとバイナリ関係が与えられたターゲットエンティティを見つけるタスクを考えてみましょう。 我々の非パラメトリックなアプローチは、与えられた関係を通して類似したソースエンティティを接続する複数のテキストトグラフパスパターンを見つけることによって、クエリ毎にクレープな論理ルールを導出します。
  論文  参考訳（メタデータ） (2020-06-25T06:28:09Z)
• Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason Over Implicit Knowledge [96.92252296244233]
  大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。 本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。 我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
  論文  参考訳（メタデータ） (2020-06-11T17:02:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。