論文の概要: Relational world knowledge representation in contextual language models: A review

• arxiv url: http://arxiv.org/abs/2104.05837v1
• Date: Mon, 12 Apr 2021 21:50:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-15 02:38:27.463799
• Title: Relational world knowledge representation in contextual language models: A review
• Title（参考訳）: 文脈言語モデルにおける関係世界知識表現:レビュー
• Authors: Tara Safavi, Danai Koutra
• Abstract要約: 我々は自然言語処理の観点から知識ベース(kbs)の限界を考える 文脈言語モデル(LM)における関係知識表現のための新しい分類法を提案する。
• 参考スコア（独自算出の注目度）: 19.176173014629185
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Relational knowledge bases (KBs) are established tools for world knowledge representation in machines. While they are advantageous for their precision and interpretability, they usually sacrifice some data modeling flexibility for these advantages because they adhere to a manually engineered schema. In this review, we take a natural language processing perspective to the limitations of KBs, examining how they may be addressed in part by training neural contextual language models (LMs) to internalize and express relational knowledge in free-text form. We propose a novel taxonomy for relational knowledge representation in contextual LMs based on the level of KB supervision provided, considering both works that probe LMs for implicit relational knowledge acquired during self-supervised pretraining on unstructured text alone, and works that explicitly supervise LMs at the level of KB entities and/or relations. We conclude that LMs and KBs are complementary representation tools, as KBs provide a high standard of factual precision which can in turn be flexibly and expressively modeled by LMs, and provide suggestions for future research in this direction.
• Abstract（参考訳）: リレーショナルナレッジベース(英: Relational knowledge bases、KB)は、機械における世界知識表現のための確立されたツールである。 正確さと解釈性では有利だが、手動で設計したスキーマに準拠するため、これらの利点のためにデータモデリングの柔軟性を犠牲にすることが多い。 本稿では,自然言語処理の観点をkbsの限界に当てはめ,神経文脈言語モデル(lms)を訓練し,自由テキスト形式でリレーショナル・ナレッジを内在化・表現することで,その対処法を検討する。 本研究では,非構造化テキストのみによる自己教師付き事前学習において得られた暗黙的関係知識を,KBエンティティおよび/または関係のレベルで明示的に監督する作業とを考慮し,KBの監督レベルに基づく文脈的関係知識表現のための新しい分類法を提案する。 我々は,LM と KB は相補的な表現ツールであり,KB は LM によって柔軟かつ表現的にモデル化可能な実写精度の高い標準を提供するとともに,今後の研究の方向性について提案する。

関連論文リスト

• A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
  本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。 KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。 KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。 CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:03Z)
• Knowledge Graphs and Pre-trained Language Models enhanced Representation Learning for Conversational Recommender Systems [58.561904356651276]
  本稿では,対話型推薦システムのためのエンティティの意味理解を改善するために,知識強化型エンティティ表現学習(KERL)フレームワークを紹介する。 KERLは知識グラフと事前訓練された言語モデルを使用して、エンティティの意味的理解を改善する。 KERLはレコメンデーションとレスポンス生成の両方のタスクで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-12-18T06:41:23Z)
• Bridging the KB-Text Gap: Leveraging Structured Knowledge-aware Pre-training for KBQA [28.642711264323786]
  テキストと構造化KBのギャップを埋める構造化知識認識事前学習法(SKP)を提案する。 事前学習の段階では、複雑な部分グラフの暗黙的関係とより良い表現を効果的に学習するためにモデルを導くという、2つの新しい構造化された知識認識タスクを導入する。 下流KBQAタスクでは、より効率的な線形化戦略とインターバルアテンション機構を設計し、複雑なサブグラフの符号化を支援する。
  論文  参考訳（メタデータ） (2023-08-28T09:22:02Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Knowledge Prompting in Pre-trained Language Model for Natural Language Understanding [24.315130086787374]
  知識プロンプトに基づく PLM フレームワーク KP-PLM を提案する。 このフレームワークは、既存の主流PLMと柔軟に組み合わせることができる。 これらのプロンプトから事実知識を更に活用するために,我々は2つの新しい知識認識型自己監督タスクを提案する。
  論文  参考訳（メタデータ） (2022-10-16T13:36:57Z)
• BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models [65.51390418485207]
  本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。 関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。 我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
  論文  参考訳（メタデータ） (2022-06-28T19:46:29Z)
• Language Models as Knowledge Embeddings [26.384327693266837]
  本稿では,言語モデルを用いて知識埋め込みを導出するLMKEを提案する。 我々は、記述に基づくKE学習を対照的な学習フレームワークで定式化し、トレーニングと評価の効率を向上させる。
  論文  参考訳（メタデータ） (2022-06-25T10:39:12Z)
• A Review on Language Models as Knowledge Bases [55.035030134703995]
  近年,知識ベース (KB) としての事前訓練言語モデル (LM) の利用に対する,NLPコミュニティへの関心が高まっている。
  論文  参考訳（メタデータ） (2022-04-12T18:35:23Z)
• Reasoning over Vision and Language: Exploring the Benefits of Supplemental Knowledge [59.87823082513752]
  本稿では,汎用知識基盤(KB)から視覚言語変換器への知識の注入について検討する。 我々は複数のタスクやベンチマークに対する様々なkbの関連性を実証的に研究する。 この技術はモデルに依存しず、最小限の計算オーバーヘッドで任意の視覚言語変換器の適用可能性を拡張することができる。
  論文  参考訳（メタデータ） (2021-01-15T08:37:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。