論文の概要: Does Knowledge Help General NLU? An Empirical Study
- arxiv url: http://arxiv.org/abs/2109.00563v1
- Date: Wed, 1 Sep 2021 18:17:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-04 06:50:36.250156
- Title: Does Knowledge Help General NLU? An Empirical Study
- Title(参考訳): 知識は一般のNLUに役立つか?
実証的研究
- Authors: Ruochen Xu, Yuwei Fang, Chenguang Zhu, Michael Zeng
- Abstract要約: 言語モデルのエンドツーエンド性能を計測し,外部知識の寄与について検討する。
知識の導入は、他のタスクに悪影響を及ぼすことなく、特定のタスクにおける結果を大幅に改善できることがわかった。
- 参考スコア(独自算出の注目度): 13.305282275999781
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It is often observed in knowledge-centric tasks (e.g., common sense question
and answering, relation classification) that the integration of external
knowledge such as entity representation into language models can help provide
useful information to boost the performance. However, it is still unclear
whether this benefit can extend to general natural language understanding (NLU)
tasks. In this work, we empirically investigated the contribution of external
knowledge by measuring the end-to-end performance of language models with
various knowledge integration methods. We find that the introduction of
knowledge can significantly improve the results on certain tasks while having
no adverse effects on other tasks. We then employ mutual information to reflect
the difference brought by knowledge and a neural interpretation model to reveal
how a language model utilizes external knowledge. Our study provides valuable
insights and guidance for practitioners to equip NLP models with knowledge.
- Abstract(参考訳): 知識中心のタスク(例えば、常識的な質問と回答、関係分類)では、エンティティ表現のような外部の知識を言語モデルに統合することで、パフォーマンスを高めるための有用な情報を提供できることがしばしば観察される。
しかし、この利点が一般的な自然言語理解(NLU)タスクに拡張できるかどうかはまだ不明である。
本研究では,様々な知識統合手法を用いて言語モデルのエンドツーエンド性能を測定し,外部知識の寄与を実証的に検討した。
知識の導入は,他のタスクに悪影響を及ぼすことなく,特定のタスクにおける結果を大幅に改善できることがわかった。
次に,言語モデルが外部知識をどのように活用するかを明らかにするために,知識とニューラル解釈モデルの違いを反映した相互情報を用いる。
本研究は,NLPモデルに知識を付与する実践者に対して,貴重な洞察とガイダンスを提供する。
関連論文リスト
- Beyond Factuality: A Comprehensive Evaluation of Large Language Models
as Knowledge Generators [78.63553017938911]
大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。
しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。
本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
論文 参考訳(メタデータ) (2023-10-11T08:22:37Z) - Worth of knowledge in deep learning [3.132595571344153]
我々は、知識の価値を評価するために、解釈可能な機械学習にインスパイアされたフレームワークを提案する。
我々の研究結果は、依存、相乗効果、置換効果を含む、データと知識の複雑な関係を解明する。
我々のモデルに依存しないフレームワークは、様々な共通ネットワークアーキテクチャに適用でき、ディープラーニングモデルにおける事前知識の役割を包括的に理解することができる。
論文 参考訳(メタデータ) (2023-07-03T02:25:19Z) - Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。
本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文 参考訳(メタデータ) (2023-05-15T15:47:09Z) - UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language
Models [100.4659557650775]
構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。
どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
論文 参考訳(メタデータ) (2023-05-02T17:33:28Z) - LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。
LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。
実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
論文 参考訳(メタデータ) (2022-08-12T18:59:37Z) - Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。
このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。
特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
論文 参考訳(メタデータ) (2021-10-15T21:58:03Z) - Language Models as a Knowledge Source for Cognitive Agents [9.061356032792954]
言語モデル (LM) は大量のコーパスで訓練された文補完エンジンである。
本稿では,認知システムのための新たな知識源として言語モデルを用いる上での課題と機会について概説する。
また、認知システムが提供する能力を用いて、言語モデルからの知識抽出を改善する方法も特定する。
論文 参考訳(メタデータ) (2021-09-17T01:12:34Z) - Knowledge-driven Data Construction for Zero-shot Evaluation in
Commonsense Question Answering [80.60605604261416]
本稿では,共通認識課題にまたがるゼロショット質問応答のための新しいニューラルシンボリック・フレームワークを提案する。
言語モデル、トレーニング体制、知識ソース、データ生成戦略のセットを変えて、タスク間の影響を測定します。
個別の知識グラフは特定のタスクに適しているが、グローバルな知識グラフはさまざまなタスクに対して一貫した利得をもたらす。
論文 参考訳(メタデータ) (2020-11-07T22:52:21Z) - Unsupervised Commonsense Question Answering with Self-Talk [71.63983121558843]
本稿では,コモンセンスタスクの代替として,セルフトークに基づく教師なしフレームワークを提案する。
探索に基づく探索学習にインスパイアされた我々のアプローチは、質問を求める多くの情報で言語モデルに問い合わせる。
実験結果から,ゼロショット言語モデルベースラインの性能が大幅に向上することが示唆された。
論文 参考訳(メタデータ) (2020-04-11T20:43:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。