論文の概要: Understanding Knowledge Integration in Language Models with Graph Convolutions

• arxiv url: http://arxiv.org/abs/2202.00964v1
• Date: Wed, 2 Feb 2022 11:23:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-03 13:44:10.244694
• Title: Understanding Knowledge Integration in Language Models with Graph Convolutions
• Title（参考訳）: グラフ畳み込みを用いた言語モデルにおける知識統合の理解
• Authors: Yifan Hou, Guoji Fu, Mrinmaya Sachan
• Abstract要約: 知識統合(KI)手法は、事前訓練された言語モデル(LM)に外部知識を統合することを目的としている 本稿では,これらのモデルにおけるKI過程を情報理論的視点で再検討し,グラフ畳み込み演算を用いてKIを解釈可能であることを示す。 ERNIE と K-Adapter の 2 つのよく知られた知識強化LM を解析した結果,少量の事実知識が組み込まれていることがわかった。
• 参考スコア（独自算出の注目度）: 28.306949176011763
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained language models (LMs) do not capture factual knowledge very well. This has led to the development of a number of knowledge integration (KI) methods which aim to incorporate external knowledge into pretrained LMs. Even though KI methods show some performance gains over vanilla LMs, the inner-workings of these methods are not well-understood. For instance, it is unclear how and what kind of knowledge is effectively integrated into these models and if such integration may lead to catastrophic forgetting of already learned knowledge. This paper revisits the KI process in these models with an information-theoretic view and shows that KI can be interpreted using a graph convolution operation. We propose a probe model called \textit{Graph Convolution Simulator} (GCS) for interpreting knowledge-enhanced LMs and exposing what kind of knowledge is integrated into these models. We conduct experiments to verify that our GCS can indeed be used to correctly interpret the KI process, and we use it to analyze two well-known knowledge-enhanced LMs: ERNIE and K-Adapter, and find that only a small amount of factual knowledge is integrated in them. We stratify knowledge in terms of various relation types and find that ERNIE and K-Adapter integrate different kinds of knowledge to different extent. Our analysis also shows that simply increasing the size of the KI corpus may not lead to better KI; fundamental advances may be needed.
• Abstract（参考訳）: 事前訓練された言語モデル(LM)は、事実知識をうまく捉えていない。 これにより、事前訓練されたLMに外部知識を組み込むための知識統合(KI)手法が開発されている。 KI法はバニラLMよりも若干の性能向上を示したが、これらの手法の内部処理は十分に理解されていない。 例えば、どのような種類の知識がこれらのモデルに効果的に統合されているのか、そして、そのような統合が既に学習された知識を壊滅的に忘れてしまう可能性があるのかは明らかではない。 本稿では,これらのモデルにおけるKI過程を情報理論的に再検討し,グラフ畳み込み操作を用いてKIを解釈可能であることを示す。 本稿では,知識を付加したLMを解釈し,これらのモデルにどのような知識が組み込まれているかを明らかにするために,GCS(textit{Graph Convolution Simulator)と呼ばれるプローブモデルを提案する。 我々は、我々のGCSが実際にKIプロセスの正しい解釈に利用できることを確認する実験を行い、それをよく知られた知識強化LMであるERNIEとK-Adapterの分析に利用し、少量の事実知識が組み込まれていることを確認する。 様々な関係型の観点から知識を階層化し,ernie と k-adapter が異なる種類の知識を統合することを見出した。 また, KIコーパスのサイズを増大させるだけでは, KIの精度が向上しない可能性が示唆された。

関連論文リスト

• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• Leveraging Pedagogical Theories to Understand Student Learning Process with Graph-based Reasonable Knowledge Tracing [11.082908318943248]
  本稿では,これらの問題に対処するためのグラフベースの合理的知識追跡手法GRKTを紹介する。 本稿では,知識検索,記憶強化,知識学習・鍛造の3段階モデリングプロセスを提案する。
  論文  参考訳（メタデータ） (2024-06-07T10:14:30Z)
• Knowledge Circuits in Pretrained Transformers [47.342682123081204]
  現代の大言語モデルが知識をいかに保存するかという内部的な研究は、長い間、研究者の間で激しい関心と調査の対象となっていた。 本稿では,言語モデルのグラフを掘り下げて,特定の知識を明確にするための知識回路を明らかにする。 これらの知識回路に対する現在の知識編集技術の影響を評価し,これらの編集手法の機能や制約についてより深い知見を提供する。
  論文  参考訳（メタデータ） (2024-05-28T08:56:33Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)
• Structured Knowledge Grounding for Question Answering [0.23068481501673416]
  本稿では,知識に基づく質問応答の柔軟性,範囲の広さ,構造的推論に言語と知識を活用することを提案する。 具体的には,動的ホップを用いて関連するコンテキストを検索する知識構築手法を考案する。 そして、言語と知識の間のボトルネックを交換する情報を橋渡しする深層融合機構を考案する。
  論文  参考訳（メタデータ） (2022-09-17T08:48:50Z)
• LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
  モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。 実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-08-12T18:59:37Z)
• Enhancing Language Models with Plug-and-Play Large-Scale Commonsense [2.1248439796866228]
  テキストコモンセンス知識を用いて言語モデル(LM)を強化する方法について検討する。 事前学習を行わない大規模コモンセンス統合のためのプラグアンドプレイ方式を提案する。
  論文  参考訳（メタデータ） (2021-09-06T16:16:10Z)
• Towards a Universal Continuous Knowledge Base [49.95342223987143]
  複数のニューラルネットワークからインポートされた知識を格納できる継続的知識基盤を構築する方法を提案する。 テキスト分類実験は有望な結果を示す。 我々は複数のモデルから知識ベースに知識をインポートし、そこから融合した知識を単一のモデルにエクスポートする。
  論文  参考訳（メタデータ） (2020-12-25T12:27:44Z)
• CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
  文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
  論文  参考訳（メタデータ） (2020-10-01T11:39:32Z)
• Common Sense or World Knowledge? Investigating Adapter-Based Knowledge Injection into Pretrained Transformers [54.417299589288184]
  本研究では,概念ネットとそれに対応するオープンマインド・コモンセンス(OMCS)コーパスから,BERTの分布知識と概念知識を補完するモデルについて検討する。 我々のアダプタベースのモデルは,ConceptNet や OMCS に明示的に存在する概念的知識のタイプを必要とする推論タスクにおいて,BERT を大幅に上回っている。
  論文  参考訳（メタデータ） (2020-05-24T15:49:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。