論文の概要: Ontology-enhanced Prompt-tuning for Few-shot Learning
- arxiv url: http://arxiv.org/abs/2201.11332v1
- Date: Thu, 27 Jan 2022 05:41:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-28 14:41:53.713451
- Title: Ontology-enhanced Prompt-tuning for Few-shot Learning
- Title（参考訳）: 数発学習のためのオントロジエンハンスド・プロンプト・チューニング
- Authors: Hongbin Ye, Ningyu Zhang, Shumin Deng, Xiang Chen, Hui Chen, Feiyu
Xiong, Xi Chen, Huajun Chen
- Abstract要約: 少ないショットラーニングは、限られたサンプル数に基づいて予測を行うことを目的としている。
知識グラフやオントロジーライブラリなどの構造化データは、様々なタスクにおける数ショット設定の恩恵を受けるために利用されてきた。
- 参考スコア（独自算出の注目度）: 41.51144427728086
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Few-shot Learning (FSL) is aimed to make predictions based on a limited
number of samples. Structured data such as knowledge graphs and ontology
libraries has been leveraged to benefit the few-shot setting in various tasks.
However, the priors adopted by the existing methods suffer from challenging
knowledge missing, knowledge noise, and knowledge heterogeneity, which hinder
the performance for few-shot learning. In this study, we explore knowledge
injection for FSL with pre-trained language models and propose
ontology-enhanced prompt-tuning (OntoPrompt). Specifically, we develop the
ontology transformation based on the external knowledge graph to address the
knowledge missing issue, which fulfills and converts structure knowledge to
text. We further introduce span-sensitive knowledge injection via a visible
matrix to select informative knowledge to handle the knowledge noise issue. To
bridge the gap between knowledge and text, we propose a collective training
algorithm to optimize representations jointly. We evaluate our proposed
OntoPrompt in three tasks, including relation extraction, event extraction, and
knowledge graph completion, with eight datasets. Experimental results
demonstrate that our approach can obtain better few-shot performance than
baselines.
- Abstract（参考訳）: FSL(Few-shot Learning)は、限られたサンプル数に基づいて予測を行うことを目的としている。
知識グラフやオントロジーライブラリなどの構造化データは、様々なタスクにおける数ショット設定の恩恵を受けるために利用されてきた。
しかし,従来の手法では,知識の欠如,知識ノイズ,知識の不均一性といった難易度に悩まされ,数発の学習性能が損なわれている。
本研究では,事前学習型言語モデルを用いたFSLの知識注入について検討し,オントロジー強化型プロンプトチューニング(OntoPrompt)を提案する。
具体的には,構造知識をテキストに変換する知識不足問題に対処するために,外部知識グラフに基づくオントロジ変換を開発する。
さらに,可視マトリクスを用いたスパンセンシティブな知識インジェクションを導入することで,知識ノイズに対処するための情報的知識を選択する。
知識とテキストのギャップを埋めるため,共同で表現を最適化する集合学習アルゴリズムを提案する。
提案手法は8つのデータセットを用いた関係抽出,イベント抽出,知識グラフ補完の3つのタスクで評価した。
実験結果から,本手法はベースラインよりも精度が良いことを示す。
関連論文リスト
- Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。
本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
論文 参考訳（メタデータ） (2024-06-11T15:58:59Z) - Efficient Knowledge Infusion via KG-LLM Alignment [10.735490041033113]
知識グラフ検索法は知識注入の効率的かつ効率的な手法であることが証明されている。
既存のアプローチでは、公開知識グラフとタスクの特定の領域との知識ミスマッチ、知識グラフを用いたLLMの情報コンプライアンスの貧弱な2つの主要な課題に直面している。
本稿では,知識グラフから情報を利用するLLMの能力を高めるための3段階のKG-LLMアライメント戦略を提案する。
論文 参考訳（メタデータ） (2024-06-06T04:55:55Z) - Infusing Knowledge into Large Language Models with Contextual Prompts [5.865016596356753]
入力テキスト中の文脈からプロンプトを生成することにより,知識注入のためのシンプルだが一般化可能なアプローチを提案する。
本実験は, 微調整LDMを用いて評価する手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-03T11:19:26Z) - UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language
Models [100.4659557650775]
構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。
どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
論文 参考訳（メタデータ） (2023-05-02T17:33:28Z) - Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph
Construction [57.854498238624366]
本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。
RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
論文 参考訳（メタデータ） (2022-10-19T16:40:28Z) - A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。
我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。
提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
論文 参考訳（メタデータ） (2022-06-30T02:35:04Z) - K-XLNet: A General Method for Combining Explicit Knowledge with Language
Model Pretraining [5.178964604577459]
明示的な知識を活用することで、モデルの事前訓練を改善することに重点を置いています。
具体的には、まず知識グラフ(KG)から知識事実をマッチングし、次に直接変換器に知識命令層を追加する。
実験の結果,変圧器に外部知識を加えるだけで,多くのNLPタスクにおける学習性能が向上することが示された。
論文 参考訳（メタデータ） (2021-03-25T06:14:18Z) - CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
文脈型言語と知識埋め込み(CoLAKE)を提案する。
CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。
知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
論文 参考訳（メタデータ） (2020-10-01T11:39:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。