論文の概要: Towards Knowledge-Grounded Natural Language Understanding and Generation

• arxiv url: http://arxiv.org/abs/2403.15364v1
• Date: Fri, 22 Mar 2024 17:32:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 16:30:34.404716
• Title: Towards Knowledge-Grounded Natural Language Understanding and Generation
• Title（参考訳）: 知識を包括した自然言語理解・生成に向けて
• Authors: Chenxi Whitehouse,
• Abstract要約: この論文は、トランスフォーマーモデルによる自然言語の理解と生成が、モデルに知識表現を組み込むことの利点について考察する。 この論文では、関連性のある、最新のエンティティの知識を取り入れることで、偽ニュース検出の恩恵を受ける。 パラメトリックな知識や蒸留された知識といった他の一般的な知識は、多言語および多言語的な知識集約的なタスクを強化することが確立されている。
• 参考スコア（独自算出の注目度）: 1.450405446885067
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This thesis investigates how natural language understanding and generation with transformer models can benefit from grounding the models with knowledge representations and addresses the following key research questions: (i) Can knowledge of entities extend its benefits beyond entity-centric tasks, such as entity linking? (ii) How can we faithfully and effectively extract such structured knowledge from raw text, especially noisy web text? (iii) How do other types of knowledge, beyond structured knowledge, contribute to improving NLP tasks? Studies in this thesis find that incorporating relevant and up-to-date knowledge of entities benefits fake news detection, and entity-focused code-switching significantly enhances zero-shot cross-lingual transfer on entity-centric tasks. In terms of effective and faithful approaches to extracting structured knowledge, it is observed that integrating negative examples and training with entity planning significantly improves performance. Additionally, it is established that other general forms of knowledge, such as parametric and distilled knowledge, enhance multimodal and multilingual knowledge-intensive tasks. This research shows the tangible benefits of diverse knowledge integration and motivates further exploration in this direction.
• Abstract（参考訳）: この論文は、トランスフォーマーモデルによる自然言語の理解と生成が、モデルに知識表現を基礎づけることの利点について研究し、以下の重要な研究課題に対処する。 i)エンティティの知識は、エンティティリンクのようなエンティティ中心のタスクを超えて、そのメリットを拡張できますか? (二)原文、特に騒々しいウェブテキストからそのような構造化知識を忠実かつ効果的に抽出する方法 三 構造化知識以外の知識は、NLPタスクの改善にどのように貢献するか。 この論文では、エンティティの関連知識と最新の知識を組み込むことは偽ニュースの検出に役立ち、エンティティ中心のコードスイッチングはエンティティ中心のタスクにおけるゼロショットのクロスランガル転送を大幅に促進する。 構造的知識を抽出するための効果的で忠実なアプローチは、否定的な例と学習とエンティティプランニングを統合することで、性能が著しく向上することが観察された。 また,パラメトリックな知識や蒸留された知識などの一般的な知識は,多言語・多言語的な知識集約的なタスクを強化することが確認された。 この研究は、多様な知識の統合の具体的な利点を示し、この方向のさらなる探索を動機付けている。

関連論文リスト

• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
  モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。 実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-08-12T18:59:37Z)
• Knowledge Graph Augmented Network Towards Multiview Representation Learning for Aspect-based Sentiment Analysis [96.53859361560505]
  本稿では,知識グラフ拡張ネットワーク(KGAN)を提案する。 KGANは感情の特徴表現を、文脈、構文、知識に基づく複数の視点から捉えている。 3つの人気のあるABSAベンチマークの実験は、我々のKGANの有効性と堅牢性を示している。
  論文  参考訳（メタデータ） (2022-01-13T08:25:53Z)
• Does Knowledge Help General NLU? An Empirical Study [13.305282275999781]
  言語モデルのエンドツーエンド性能を計測し,外部知識の寄与について検討する。 知識の導入は、他のタスクに悪影響を及ぼすことなく、特定のタスクにおける結果を大幅に改善できることがわかった。
  論文  参考訳（メタデータ） (2021-09-01T18:17:36Z)
• CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
  文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
  論文  参考訳（メタデータ） (2020-10-01T11:39:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。