論文の概要: Why Do Neural Language Models Still Need Commonsense Knowledge to Handle
Semantic Variations in Question Answering?
- arxiv url: http://arxiv.org/abs/2209.00599v1
- Date: Thu, 1 Sep 2022 17:15:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-02 13:51:32.851404
- Title: Why Do Neural Language Models Still Need Commonsense Knowledge to Handle
Semantic Variations in Question Answering?
- Title(参考訳): 質問応答における意味的変化を扱うために,なぜニューラル言語モデルがコモンセンスの知識を必要とするのか?
- Authors: Sunjae Kwon, Cheongwoong Kang, Jiyeon Han, Jaesik Choi
- Abstract要約: マスク付きニューラルネットワークモデル(MNLM)は、巨大なニューラルネットワーク構造で構成され、マスクされたテキストを復元するように訓練されている。
本稿では,MNLMの事前学習に含まれるコモンセンス知識について,新たな知見と実証分析を行った。
- 参考スコア(独自算出の注目度): 22.536777694218593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many contextualized word representations are now learned by intricate neural
network models, such as masked neural language models (MNLMs) which are made up
of huge neural network structures and trained to restore the masked text. Such
representations demonstrate superhuman performance in some reading
comprehension (RC) tasks which extract a proper answer in the context given a
question. However, identifying the detailed knowledge trained in MNLMs is
challenging owing to numerous and intermingled model parameters. This paper
provides new insights and empirical analyses on commonsense knowledge included
in pretrained MNLMs. First, we use a diagnostic test that evaluates whether
commonsense knowledge is properly trained in MNLMs. We observe that a large
proportion of commonsense knowledge is not appropriately trained in MNLMs and
MNLMs do not often understand the semantic meaning of relations accurately. In
addition, we find that the MNLM-based RC models are still vulnerable to
semantic variations that require commonsense knowledge. Finally, we discover
the fundamental reason why some knowledge is not trained. We further suggest
that utilizing an external commonsense knowledge repository can be an effective
solution. We exemplify the possibility to overcome the limitations of the
MNLM-based RC models by enriching text with the required knowledge from an
external commonsense knowledge repository in controlled experiments.
- Abstract(参考訳): 多くの文脈化された単語表現は、マスク付きニューラルネットワークモデル(mnlms)のような複雑なニューラルネットワークモデルによって学習され、巨大なニューラルネットワーク構造で構成され、マスク付きテキストを復元するように訓練されている。
このような表現は、質問に対する適切な回答を抽出する読解理解(RC)タスクにおいて、超人的なパフォーマンスを示す。
しかし、MNLMで訓練された詳細な知識を特定することは、多数のモデルパラメータが混在しているため困難である。
本稿では,MNLMの事前学習に含まれるコモンセンス知識について,新たな知見と実証分析を行った。
まず,コモンセンス知識がmnlmsで適切に訓練されているかどうかを評価する診断試験を行う。
我々は,MNLMにおいて,多くのコモンセンス知識が適切に訓練されておらず,MNLMが関係の意味を正確に理解していないことを観察する。
さらに,MNLMに基づくRCモデルは,コモンセンスの知識を必要とするセマンティックなバリエーションに対して依然として脆弱であることがわかった。
最後に、ある知識が訓練されていない根本的な理由を見つけます。
さらに,外部のcommonsense知識レポジトリを利用することが効果的なソリューションとなることを示唆する。
制御実験において,外部コモンセンス知識リポジトリから必要な知識をテキストで強化することにより,mnlmベースのrcモデルの限界を克服する可能性を実証する。
関連論文リスト
- Neuro-mimetic Task-free Unsupervised Online Learning with Continual
Self-Organizing Maps [56.827895559823126]
自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。
低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。
MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
論文 参考訳(メタデータ) (2024-02-19T19:11:22Z) - Is Knowledge All Large Language Models Needed for Causal Reasoning? [12.898859965556698]
本稿では,大規模言語モデル(LLM)の因果推論について,人工知能の進化における解釈可能性と信頼性を高めるために検討する。
本稿では,「do-operators」を用いた新たな因果帰属モデルを提案する。
論文 参考訳(メタデータ) (2023-12-30T04:51:46Z) - RECALL: A Benchmark for LLMs Robustness against External Counterfactual
Knowledge [69.79676144482792]
本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。
本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
論文 参考訳(メタデータ) (2023-11-14T13:24:19Z) - Democratizing Reasoning Ability: Tailored Learning from Large Language
Model [97.4921006089966]
そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。
対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。
より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
論文 参考訳(メタデータ) (2023-10-20T07:50:10Z) - Graph Neural Prompting with Large Language Models [32.97391910476073]
Graph Neural Prompting (GNP)は、知識グラフから有益な知識を学ぶために、事前訓練された言語モデルを支援するための新しいプラグアンドプレイ方式である。
複数のデータセットに対する大規模な実験は、常識的および生物医学的推論タスクにおいて、GNPの優位性を示す。
論文 参考訳(メタデータ) (2023-09-27T06:33:29Z) - Knowledge Solver: Teaching LLMs to Search for Domain Knowledge from
Knowledge Graphs [19.0797968186656]
大規模言語モデル(LLM)は汎用的であり、その創発的能力と一般化性のために異なるタスクを解くことができる。
以前の研究では、グラフニューラルネットワーク(GNN)のような追加モジュールは、外部の知識ベースから取得した知識に基づいて訓練されている。
論文 参考訳(メタデータ) (2023-09-06T15:55:01Z) - Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。
本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文 参考訳(メタデータ) (2023-05-15T15:47:09Z) - Empowering Language Models with Knowledge Graph Reasoning for Question
Answering [117.79170629640525]
我々はknOwledge ReasOning empowered Language Model (OREO-LM)を提案する。
OREO-LMは、既存のTransformerベースのLMに柔軟に接続できる新しい知識相互作用層で構成されている。
クローズド・ブック・セッティングにおいて,最先端の成果が得られ,性能が著しく向上した。
論文 参考訳(メタデータ) (2022-11-15T18:26:26Z) - Knowledge Authoring with Factual English [0.0]
知識表現と推論(KRR)システムは知識を事実と規則の集合として表現する。
一つの解決策は英語の文章から知識を抽出することであり、多くの研究がそれを試みている。
残念なことに、制限されていない自然言語から論理的事実を抽出するのは、推論に使用するには不正確すぎる。
近年のCNLベースのアプローチであるKnowledge Authoring Logic Machine(KALM)は,他と比較して非常に精度が高いことが示されている。
論文 参考訳(メタデータ) (2022-08-05T10:49:41Z) - GreaseLM: Graph REASoning Enhanced Language Models for Question
Answering [159.9645181522436]
GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。
GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
論文 参考訳(メタデータ) (2022-01-21T19:00:05Z) - Examining the rhetorical capacities of neural language models [16.93374735406622]
本稿では,ニューラルネットワークの修辞能力を定量的に評価する手法を提案する。
BERTベースのLMは、他のトランスフォーマーLMよりも優れており、中間層表現におけるより豊かな談話知識が明らかにされている。
GPT-2 と XLNet はどうやら修辞学的な知識を減らし,言語哲学からの説明を提案する。
論文 参考訳(メタデータ) (2020-10-01T00:18:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。