論文の概要: SKILL: Structured Knowledge Infusion for Large Language Models

• arxiv url: http://arxiv.org/abs/2205.08184v1
• Date: Tue, 17 May 2022 09:12:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-18 21:00:27.093510
• Title: SKILL: Structured Knowledge Infusion for Large Language Models
• Title（参考訳）: SKILL: 大規模言語モデルのための構造化知識注入
• Authors: Fedor Moiseev, Zhe Dong, Enrique Alfonseca, Martin Jaggi
• Abstract要約: 構造化知識を大規模言語モデル(LLM)に注入する手法を提案する。 Wikidata KGで事前学習したモデルは,FreebaseQAとWikiHopのT5ベースラインよりも優れていることを示す。 また,T5ベースラインと比較して,MetaQAタスクの正確なマッチスコアが3倍向上した。
• 参考スコア（独自算出の注目度）: 46.34209061364282
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have demonstrated human-level performance on a vast spectrum of natural language tasks. However, it is largely unexplored whether they can better internalize knowledge from a structured data, such as a knowledge graph, or from text. In this work, we propose a method to infuse structured knowledge into LLMs, by directly training T5 models on factual triples of knowledge graphs (KGs). We show that models pre-trained on Wikidata KG with our method outperform the T5 baselines on FreebaseQA and WikiHop, as well as the Wikidata-answerable subset of TriviaQA and NaturalQuestions. The models pre-trained on factual triples compare competitively with the ones on natural language sentences that contain the same knowledge. Trained on a smaller size KG, WikiMovies, we saw 3x improvement of exact match score on MetaQA task compared to T5 baseline. The proposed method has an advantage that no alignment between the knowledge graph and text corpus is required in curating training data. This makes our method particularly useful when working with industry-scale knowledge graphs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、多岐にわたる自然言語タスクにおいて人間レベルの性能を示す。 しかし、知識グラフやテキストといった構造化データからの知識をよりよく内部化できるかどうかについては、概ね調査されていない。 本研究では,知識グラフ(kgs)の事実三重項上でt5モデルを直接学習することにより,構造化知識をllmに注入する手法を提案する。 Wikidata KGで事前学習したモデルは、FreebaseQAとWikiHopのT5ベースライン、およびTriviaQAとNaturalQuestionsのWikidataが解答可能なサブセットよりも優れていることを示す。 事実三重項で事前訓練されたモデルは、同じ知識を含む自然言語文と競合的に比較される。 小型のKG,WikiMoviesでトレーニングした結果,T5ベースラインに比べてMetaQAタスクの正確なマッチスコアが3倍改善した。 学習データのキュレーションには知識グラフとテキストコーパスのアライメントを必要としないという利点がある。 この手法は,業界規模の知識グラフを扱う場合に特に有用である。

関連論文リスト

• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Deep Bidirectional Language-Knowledge Graph Pretraining [159.9645181522436]
  DRAGONは、テキストとKGを大規模に融合した言語知識基盤モデルを事前学習するための自己教師型アプローチである。 我々のモデルは、入力としてテキストセグメントと関連するKGサブグラフのペアを取り、両モードから情報を双方向に融合する。
  論文  参考訳（メタデータ） (2022-10-17T18:02:52Z)
• Joint Language Semantic and Structure Embedding for Knowledge Graph Completion [66.15933600765835]
  本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。 本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。 各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
  論文  参考訳（メタデータ） (2022-09-19T02:41:02Z)
• From Discrimination to Generation: Knowledge Graph Completion with Generative Transformer [41.69537736842654]
  我々は、知識グラフ補完を事前学習された言語モデルを用いて、シーケンスからシーケンスへ変換するGenKGCのアプローチを提案する。 本稿では,より優れた表現学習と高速推論を実現するために,関係誘導型実演と実体認識型階層デコーディングを導入する。 また、研究目的のために、新しい大規模中国の知識グラフデータセットAliopenKG500もリリースした。
  論文  参考訳（メタデータ） (2022-02-04T12:52:32Z)
• Calculating Question Similarity is Enough:A New Method for KBQA Tasks [8.056701645706404]
  本稿では、事前学習言語モデル(PLM)と知識グラフ(KG)を用いたコーパス生成-検索手法(CGRM)を提案する。 まず,mT5モデルに基づいて,知識マスキング言語モデリングと質問生成という2つの新しい事前学習タスクを設計した。 第2に、一連のルールで知識グラフのトリプルを前処理した後、kT5モデルは、処理されたトリプルに基づいて自然言語QAペアを生成する。
  論文  参考訳（メタデータ） (2021-11-15T10:31:46Z)
• Few-shot Knowledge Graph-to-Text Generation with Pretrained Language Models [42.38563175680914]
  本稿では,知識グラフ(KG)の事実を記述した自然言語テキストの自動生成方法について検討する。 数ショットの設定を考えると、言語理解と生成において事前学習された言語モデル(PLM)の優れた能力を利用する。
  論文  参考訳（メタデータ） (2021-06-03T06:48:00Z)
• ALICE: Active Learning with Contrastive Natural Language Explanations [69.03658685761538]
  本研究では,学習におけるデータ効率を向上させるために,AlICEを用いたアクティブラーニングを提案する。 ALICEは、まずアクティブラーニングを使用して、最も情報に富んだラベルクラスを選択し、対照的な自然言語の説明を引き出す。 意味的に抽出された知識を用いて、これらの説明から知識を抽出する。
  論文  参考訳（メタデータ） (2020-09-22T01:02:07Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。