論文の概要: Social Commonsense Reasoning with Multi-Head Knowledge Attention

• arxiv url: http://arxiv.org/abs/2010.05587v1
• Date: Mon, 12 Oct 2020 10:24:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 06:51:36.752666
• Title: Social Commonsense Reasoning with Multi-Head Knowledge Attention
• Title（参考訳）: 多頭知識を考慮した社会常識推論
• Authors: Debjit Paul and Anette Frank
• Abstract要約: 社会的コモンセンス推論には、テキストの理解、社会イベントに関する知識、その実践的な意味、およびコモンセンス推論スキルが必要である。 本稿では,半構造化コモンセンス推論規則を符号化し,それをトランスフォーマーベースの推論セルに組み込むことを学習する,新しいマルチヘッド知識アテンションモデルを提案する。
• 参考スコア（独自算出の注目度）: 24.70946979449572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Social Commonsense Reasoning requires understanding of text, knowledge about social events and their pragmatic implications, as well as commonsense reasoning skills. In this work we propose a novel multi-head knowledge attention model that encodes semi-structured commonsense inference rules and learns to incorporate them in a transformer-based reasoning cell. We assess the model's performance on two tasks that require different reasoning skills: Abductive Natural Language Inference and Counterfactual Invariance Prediction as a new task. We show that our proposed model improves performance over strong state-of-the-art models (i.e., RoBERTa) across both reasoning tasks. Notably we are, to the best of our knowledge, the first to demonstrate that a model that learns to perform counterfactual reasoning helps predicting the best explanation in an abductive reasoning task. We validate the robustness of the model's reasoning capabilities by perturbing the knowledge and provide qualitative analysis on the model's knowledge incorporation capabilities.
• Abstract（参考訳）: 社会的コモンセンス推論には、テキストの理解、社会イベントに関する知識、その実践的な意味、およびコモンセンス推論スキルが必要である。 本研究では,半構造化コモンセンス推論規則を符号化し,それをトランスフォーマベース推論セルに組み込む方法を学ぶマルチヘッド知識注目モデルを提案する。 帰納的自然言語推論(Abductive Natural Language Inference)と反現実的不変性予測( Counterfactual Invariance Prediction)の2つのタスクにおいて,モデルの性能を評価する。 提案モデルでは,2つの推論タスク間で,強力な最先端モデル(RoBERTa)よりも性能が向上することを示す。 特に、私たちの知る限りでは、反事実的推論を行うために学習するモデルが、アブダクション的推論タスクで最良の説明を予測するのに役立つことを最初に示すのは私たちの知識です。 我々は,モデルの推論能力の頑健さを,知識を摂動させることで検証し,モデルの知識導入能力に関する質的分析を行う。

関連論文リスト

• Conceptual and Unbiased Reasoning in Language Models [98.90677711523645]
  本稿では,抽象的質問に対する概念的推論をモデルに強制する,新しい概念化フレームワークを提案する。 既存の大規模言語モデルは概念的推論では不足しており、様々なベンチマークでは9%から28%に低下している。 ハイレベルな抽象的推論が不偏で一般化可能な意思決定の鍵となるので、モデルがどのように改善できるかについて議論する。
  論文  参考訳（メタデータ） (2024-03-30T00:53:53Z)
• UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [62.71847873326847]
  異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。 予期せぬ結果のコンテキストが与えられた場合、このタスクは説明を生成するために故意に推論する必要がある。 私たちはUNcommonsenseという新しい英語コーパスをリリースします。
  論文  参考訳（メタデータ） (2023-11-14T19:00:55Z)
• Crystal: Introspective Reasoners Reinforced with Self-Feedback [118.53428015478957]
  本稿では,イントロスペクティブ・コモンセンス推論器であるCrystalを開発するための新しい手法を提案する。 コモンセンス問題に対処するため、まず与えられた質問に関連する知識ステートメントのイントロスペクションを行い、その後、それまでのイントロスペクションされた知識に根ざした情報予測を行う。 実験により、クリスタルは標準的な微調整法と連鎖蒸留法の両方で著しく優れており、コモンセンス推論プロセスの透明性を高めていることが示された。
  論文  参考訳（メタデータ） (2023-10-07T21:23:58Z)
• CommonsenseVIS: Visualizing and Understanding Commonsense Reasoning Capabilities of Natural Language Models [30.63276809199399]
  本稿では,外部コモンセンス知識ベースを用いた視覚的説明システムであるCommonsenseVISについて述べる。 本システムでは,異なる概念とその基盤となる関係について,多段階の可視化とインタラクティブなモデル探索と編集を行う。
  論文  参考訳（メタデータ） (2023-07-23T17:16:13Z)
• elBERto: Self-supervised Commonsense Learning for Question Answering [131.51059870970616]
  本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。 このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。 elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
  論文  参考訳（メタデータ） (2022-03-17T16:23:45Z)
• Causality in Neural Networks -- An Extended Abstract [0.0]
  因果推論は、人間が使用する主要な学習および説明ツールである。 因果性の概念を機械学習に導入することは、より良い学習と説明可能なモデルを提供するのに役立つ。
  論文  参考訳（メタデータ） (2021-06-03T09:52:36Z)
• AR-LSAT: Investigating Analytical Reasoning of Text [57.1542673852013]
  テキストの分析的推論の課題を研究し、1991年から2016年までのロースクール入学試験からの質問からなる新しいデータセットを紹介します。 我々は,この課題をうまくこなすために必要な知識理解と推論能力を分析する。
  論文  参考訳（メタデータ） (2021-04-14T02:53:32Z)
• Towards Interpretable Reasoning over Paragraph Effects in Situation [126.65672196760345]
  我々は,原因と効果を理解するためのモデルを必要とする状況において,段落効果を推論する作業に焦点をあてる。 本稿では,ニューラルネットワークモジュールを用いた推論プロセスの各ステップを明示的にモデル化する逐次的手法を提案する。 特に、5つの推論モジュールはエンドツーエンドで設計され、学習され、より解釈可能なモデルにつながる。
  論文  参考訳（メタデータ） (2020-10-03T04:03:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。