論文の概要: Why Do Neural Language Models Still Need Commonsense Knowledge to Handle
Semantic Variations in Question Answering?
- arxiv url: http://arxiv.org/abs/2209.00599v1
- Date: Thu, 1 Sep 2022 17:15:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-02 13:51:32.851404
- Title: Why Do Neural Language Models Still Need Commonsense Knowledge to Handle
Semantic Variations in Question Answering?
- Title（参考訳）: 質問応答における意味的変化を扱うために,なぜニューラル言語モデルがコモンセンスの知識を必要とするのか?
- Authors: Sunjae Kwon, Cheongwoong Kang, Jiyeon Han, Jaesik Choi
- Abstract要約: マスク付きニューラルネットワークモデル(MNLM)は、巨大なニューラルネットワーク構造で構成され、マスクされたテキストを復元するように訓練されている。
本稿では,MNLMの事前学習に含まれるコモンセンス知識について,新たな知見と実証分析を行った。
- 参考スコア（独自算出の注目度）: 22.536777694218593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many contextualized word representations are now learned by intricate neural
network models, such as masked neural language models (MNLMs) which are made up
of huge neural network structures and trained to restore the masked text. Such
representations demonstrate superhuman performance in some reading
comprehension (RC) tasks which extract a proper answer in the context given a
question. However, identifying the detailed knowledge trained in MNLMs is
challenging owing to numerous and intermingled model parameters. This paper
provides new insights and empirical analyses on commonsense knowledge included
in pretrained MNLMs. First, we use a diagnostic test that evaluates whether
commonsense knowledge is properly trained in MNLMs. We observe that a large
proportion of commonsense knowledge is not appropriately trained in MNLMs and
MNLMs do not often understand the semantic meaning of relations accurately. In
addition, we find that the MNLM-based RC models are still vulnerable to
semantic variations that require commonsense knowledge. Finally, we discover
the fundamental reason why some knowledge is not trained. We further suggest
that utilizing an external commonsense knowledge repository can be an effective
solution. We exemplify the possibility to overcome the limitations of the
MNLM-based RC models by enriching text with the required knowledge from an
external commonsense knowledge repository in controlled experiments.
- Abstract（参考訳）: 多くの文脈化された単語表現は、マスク付きニューラルネットワークモデル(mnlms)のような複雑なニューラルネットワークモデルによって学習され、巨大なニューラルネットワーク構造で構成され、マスク付きテキストを復元するように訓練されている。
このような表現は、質問に対する適切な回答を抽出する読解理解(RC)タスクにおいて、超人的なパフォーマンスを示す。
しかし、MNLMで訓練された詳細な知識を特定することは、多数のモデルパラメータが混在しているため困難である。
本稿では,MNLMの事前学習に含まれるコモンセンス知識について,新たな知見と実証分析を行った。
まず,コモンセンス知識がmnlmsで適切に訓練されているかどうかを評価する診断試験を行う。
我々は,MNLMにおいて,多くのコモンセンス知識が適切に訓練されておらず,MNLMが関係の意味を正確に理解していないことを観察する。
さらに,MNLMに基づくRCモデルは,コモンセンスの知識を必要とするセマンティックなバリエーションに対して依然として脆弱であることがわかった。
最後に、ある知識が訓練されていない根本的な理由を見つけます。
さらに,外部のcommonsense知識レポジトリを利用することが効果的なソリューションとなることを示唆する。
制御実験において,外部コモンセンス知識リポジトリから必要な知識をテキストで強化することにより,mnlmベースのrcモデルの限界を克服する可能性を実証する。
関連論文リスト
- Empowering Language Models with Knowledge Graph Reasoning for Question
Answering [117.79170629640525]
我々はknOwledge ReasOning empowered Language Model (OREO-LM)を提案する。
OREO-LMは、既存のTransformerベースのLMに柔軟に接続できる新しい知識相互作用層で構成されている。
クローズド・ブック・セッティングにおいて,最先端の成果が得られ,性能が著しく向上した。
論文 参考訳（メタデータ） (2022-11-15T18:26:26Z) - A Survey of Knowledge-Enhanced Pre-trained Language Models [56.45785712146972]
我々は知識強化事前学習言語モデル(KE-PLM)の総合的なレビューを行う。
NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分けられる。
NLGのKE-PLMは、KGベースと検索ベースに分類される。
論文 参考訳（メタデータ） (2022-11-11T04:29:02Z) - Flexible and Structured Knowledge Grounded Question Answering [0.23068481501673416]
本稿では,知識に基づく質問応答の柔軟性,範囲の広さ,構造的推論に言語と知識を活用することを提案する。
具体的には,動的ホップを用いて関連するコンテキストを検索する知識構築手法を考案する。
そして、言語と知識の間のボトルネックを交換する情報を橋渡しする深層融合機構を考案する。
論文 参考訳（メタデータ） (2022-09-17T08:48:50Z) - Knowledge Authoring with Factual English [0.0]
知識表現と推論(KRR)システムは知識を事実と規則の集合として表現する。
一つの解決策は英語の文章から知識を抽出することであり、多くの研究がそれを試みている。
残念なことに、制限されていない自然言語から論理的事実を抽出するのは、推論に使用するには不正確すぎる。
近年のCNLベースのアプローチであるKnowledge Authoring Logic Machine(KALM)は,他と比較して非常に精度が高いことが示されている。
論文 参考訳（メタデータ） (2022-08-05T10:49:41Z) - BertNet: Harvesting Knowledge Graphs from Pretrained Language Models [72.9006637247241]
シンボリック・ナレッジグラフ(KG)は、高価なクラウドソーシングやドメイン固有の複雑な情報抽出パイプラインによって構築されている。
ニューラルLMの柔軟性と拡張性によって強化された自動KG構築のための新しいフレームワークを提案する。
我々は、多様な LM から、よりリッチなコモンセンス関係を含む新しい KG の族を導出する。
論文 参考訳（メタデータ） (2022-06-28T19:46:29Z) - Meet You Halfway: Explaining Deep Learning Mysteries [0.0]
本稿では,ネットワークの振舞いに光を当てることを目的とした,形式的な記述を伴う新しい概念的枠組みを提案する。
なぜニューラルネットワークは一般化能力を獲得するのか?
我々は、この新しいフレームワークと基礎となる理論をサポートする包括的な実験セットを提供する。
論文 参考訳（メタデータ） (2022-06-09T12:43:10Z) - GreaseLM: Graph REASoning Enhanced Language Models for Question
Answering [159.9645181522436]
GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。
GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
論文 参考訳（メタデータ） (2022-01-21T19:00:05Z) - Reasoning-Modulated Representations [85.08205744191078]
タスクが純粋に不透明でないような共通的な環境について研究する。
我々のアプローチは、新しいデータ効率表現学習の道を開く。
論文 参考訳（メタデータ） (2021-07-19T13:57:13Z) - Examining the rhetorical capacities of neural language models [16.93374735406622]
本稿では,ニューラルネットワークの修辞能力を定量的に評価する手法を提案する。
BERTベースのLMは、他のトランスフォーマーLMよりも優れており、中間層表現におけるより豊かな談話知識が明らかにされている。
GPT-2 と XLNet はどうやら修辞学的な知識を減らし,言語哲学からの説明を提案する。
論文 参考訳（メタデータ） (2020-10-01T00:18:43Z) - Common Sense or World Knowledge? Investigating Adapter-Based Knowledge
Injection into Pretrained Transformers [54.417299589288184]
本研究では,概念ネットとそれに対応するオープンマインド・コモンセンス(OMCS)コーパスから,BERTの分布知識と概念知識を補完するモデルについて検討する。
我々のアダプタベースのモデルは,ConceptNet や OMCS に明示的に存在する概念的知識のタイプを必要とする推論タスクにおいて,BERT を大幅に上回っている。
論文 参考訳（メタデータ） (2020-05-24T15:49:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。