論文の概要: Does Knowledge Help General NLU? An Empirical Study

• arxiv url: http://arxiv.org/abs/2109.00563v1
• Date: Wed, 1 Sep 2021 18:17:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-04 06:50:36.250156
• Title: Does Knowledge Help General NLU? An Empirical Study
• Title（参考訳）: 知識は一般のNLUに役立つか? 実証的研究
• Authors: Ruochen Xu, Yuwei Fang, Chenguang Zhu, Michael Zeng
• Abstract要約: 言語モデルのエンドツーエンド性能を計測し,外部知識の寄与について検討する。 知識の導入は、他のタスクに悪影響を及ぼすことなく、特定のタスクにおける結果を大幅に改善できることがわかった。
• 参考スコア（独自算出の注目度）: 13.305282275999781
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is often observed in knowledge-centric tasks (e.g., common sense question and answering, relation classification) that the integration of external knowledge such as entity representation into language models can help provide useful information to boost the performance. However, it is still unclear whether this benefit can extend to general natural language understanding (NLU) tasks. In this work, we empirically investigated the contribution of external knowledge by measuring the end-to-end performance of language models with various knowledge integration methods. We find that the introduction of knowledge can significantly improve the results on certain tasks while having no adverse effects on other tasks. We then employ mutual information to reflect the difference brought by knowledge and a neural interpretation model to reveal how a language model utilizes external knowledge. Our study provides valuable insights and guidance for practitioners to equip NLP models with knowledge.
• Abstract（参考訳）: 知識中心のタスク(例えば、常識的な質問と回答、関係分類)では、エンティティ表現のような外部の知識を言語モデルに統合することで、パフォーマンスを高めるための有用な情報を提供できることがしばしば観察される。 しかし、この利点が一般的な自然言語理解(NLU)タスクに拡張できるかどうかはまだ不明である。 本研究では,様々な知識統合手法を用いて言語モデルのエンドツーエンド性能を測定し,外部知識の寄与を実証的に検討した。 知識の導入は,他のタスクに悪影響を及ぼすことなく,特定のタスクにおける結果を大幅に改善できることがわかった。 次に,言語モデルが外部知識をどのように活用するかを明らかにするために,知識とニューラル解釈モデルの違いを反映した相互情報を用いる。 本研究は,NLPモデルに知識を付与する実践者に対して,貴重な洞察とガイダンスを提供する。

関連論文リスト

• Does Knowledge Localization Hold True? Surprising Differences Between Entity and Relation Perspectives in Language Models [20.157061521694096]
  本研究では,知識編集による実体的知識と関係的知識の相違について検討する。 実体的知識と関係的知識の差異をさらに解明するために,関係的知識が事前学習されたモデルにどのように格納されているかを調べるために因果解析を用いる。 この洞察は、言語モデルにおける知識記憶の多面的な性質を強調し、これらのモデル内で特定の種類の知識を操作する複雑さを浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-09-01T05:09:11Z)
• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• Towards Knowledge-Grounded Natural Language Understanding and Generation [1.450405446885067]
  この論文は、トランスフォーマーモデルによる自然言語の理解と生成が、モデルに知識表現を組み込むことの利点について考察する。 この論文では、関連性のある、最新のエンティティの知識を取り入れることで、偽ニュース検出の恩恵を受ける。 パラメトリックな知識や蒸留された知識といった他の一般的な知識は、多言語および多言語的な知識集約的なタスクを強化することが確立されている。
  論文  参考訳（メタデータ） (2024-03-22T17:32:43Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
  モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。 実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-08-12T18:59:37Z)
• Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
  本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。 このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。 特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
  論文  参考訳（メタデータ） (2021-10-15T21:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。