Fugu-MT 論文翻訳(概要): Combining pre-trained language models and structured knowledge

論文の概要: Combining pre-trained language models and structured knowledge

arxiv url: http://arxiv.org/abs/2101.12294v1
Date: Thu, 28 Jan 2021 21:54:03 GMT
ステータス: 処理完了
システム内更新日: 2021-02-02 04:27:25.106014
Title: Combining pre-trained language models and structured knowledge
Title（参考訳）: 事前学習言語モデルと構造化知識の組み合わせ
Authors: Pedro Colon-Hernandez, Catherine Havasi, Jason Alonso, Matthew Huggins, Cynthia Breazeal
Abstract要約: トランスフォーマーベースの言語モデルは、様々なNLPベンチマークにおいて、最先端の性能を実現している。これらのモデルに知識グラフのような構造化情報を統合することは困難であることが証明されている。構造化された知識を現在の言語モデルに統合し、課題を決定するための様々なアプローチについて検討し、構造化された情報ソースと非構造化された情報ソースの両方を活用する機会について検討する。
参考スコア（独自算出の注目度）: 9.521634184008574
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In recent years, transformer-based language models have achieved state of the art performance in various NLP benchmarks. These models are able to extract mostly distributional information with some semantics from unstructured text, however it has proven challenging to integrate structured information, such as knowledge graphs into these models. We examine a variety of approaches to integrate structured knowledge into current language models and determine challenges, and possible opportunities to leverage both structured and unstructured information sources. From our survey, we find that there are still opportunities at exploiting adapter-based injections and that it may be possible to further combine various of the explored approaches into one system.
Abstract（参考訳）: 近年、トランスフォーマーベースの言語モデルが様々なnlpベンチマークで最先端の技術性能を達成している。これらのモデルは、非構造化テキストから、ほとんど分布的情報といくつかの意味論を抽出できるが、知識グラフなどの構造化情報をこれらのモデルに統合することは困難であることが証明されている。我々は、構造化知識を現在の言語モデルに統合し、課題を特定し、構造化情報と非構造化情報の両方を活用するための様々なアプローチを検討する。私たちの調査から、アダプターベースのインジェクションを活用する機会がまだあり、探索されたさまざまなアプローチを1つのシステムにさらに組み合わせることが可能であることが分かりました。
全文参考訳へのリンク