論文の概要: Relation Extraction as Open-book Examination: Retrieval-enhanced Prompt Tuning

• arxiv url: http://arxiv.org/abs/2205.02355v1
• Date: Wed, 4 May 2022 23:38:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-06 14:21:02.849489
• Title: Relation Extraction as Open-book Examination: Retrieval-enhanced Prompt Tuning
• Title（参考訳）: オープンブック試験としての関係抽出:検索型プロンプトチューニング
• Authors: Xiang Chen, Lei Li, Ningyu Zhang, Chuanqi Tan, Fei Huang, Luo Si, Huajun Chen
• Abstract要約: 本稿では,関係抽出のための新たな半パラメトリックなプロンプトチューニング手法を提案する。 我々のモデルは、トレーニング中に重みに格納された知識を通して関係を推測する。 本手法は,標準的な教師付き設定と少数ショット設定の両方で最先端を実現することができる。
• 参考スコア（独自算出の注目度）: 88.45784777913453
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models have contributed significantly to relation extraction by demonstrating remarkable few-shot learning abilities. However, prompt tuning methods for relation extraction may still fail to generalize to those rare or hard patterns. Note that the previous parametric learning paradigm can be viewed as memorization regarding training data as a book and inference as the close-book test. Those long-tailed or hard patterns can hardly be memorized in parameters given few-shot instances. To this end, we regard RE as an open-book examination and propose a new semiparametric paradigm of retrieval-enhanced prompt tuning for relation extraction. We construct an open-book datastore for retrieval regarding prompt-based instance representations and corresponding relation labels as memorized key-value pairs. During inference, the model can infer relations by linearly interpolating the base output of PLM with the non-parametric nearest neighbor distribution over the datastore. In this way, our model not only infers relation through knowledge stored in the weights during training but also assists decision-making by unwinding and querying examples in the open-book datastore. Extensive experiments on benchmark datasets show that our method can achieve state-of-the-art in both standard supervised and few-shot settings. Code are available in https://github.com/zjunlp/PromptKG/tree/main/research/RetrievalRE.
• Abstract（参考訳）: 事前訓練された言語モデルは、驚くべき数発の学習能力を示すことによって関係抽出に大きく貢献している。 しかし、関係抽出のための迅速なチューニング手法は、これらの稀なパターンや難しいパターンに一般化できない可能性がある。 従来のパラメトリック学習パラダイムは、トレーニングデータを書籍として記憶し、推論をクローズブックテストとして捉えることができる。 ロングテールやハードパターンは、限られたインスタンスでしか記憶できない。 そこで本研究では,reをオープンブック検証として,関係抽出のための検索強調プロンプトチューニングの新しい半パラメトリックパラダイムを提案する。 記憶されたキー値ペアとして,プロンプトベースのインスタンス表現と対応する関係ラベルを検索するためのオープンブックデータストアを構築する。 データストア上の非パラメトリック近傍分布と PLM の基底出力を線形に補間することにより、推論時に関係を推測することができる。 このように、トレーニング中に重み付けに格納された知識を通じて関係を推測するだけでなく、オープンブックデータストアで例を解き、クエリすることで意思決定を支援する。 ベンチマークデータセットに関する広範囲な実験により,本手法は標準教師付き設定と少数ショット設定の両方において最先端の手法を実現できることが示された。 コードはhttps://github.com/zjunlp/promptkg/tree/main/research/retrievalreで入手できる。

関連論文リスト

• PromptORE -- A Novel Approach Towards Fully Unsupervised Relation Extraction [0.0]
  教師なし関係抽出(RE)は、トレーニング中にラベル付きデータにアクセスすることなく、テキスト内のエンティティ間の関係を識別することを目的としている。 本稿では,'Prompt-based Open Relation extract'モデルであるPromptOREを提案する。 我々は、新しいプロンプトチューニングパラダイムを教師なしの設定に適応させ、関係を表す文を埋め込む。 PromptOREは,B,V,ARIの40%以上の増加率を持つ最先端モデルより一貫して優れていた。
  論文  参考訳（メタデータ） (2023-03-24T12:55:35Z)
• Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning [113.58691755215663]
  一般化と記憶のバランスをとるためにRetroPromptを開発した。 バニラプロンプト学習とは対照的に、RetroPromptはトレーニングインスタンスからオープンブックナレッジストアを構築する。 大規模な実験により、RetroPromptは、数ショットとゼロショットの両方で、より良いパフォーマンスを得ることができることが示されている。
  論文  参考訳（メタデータ） (2022-05-29T16:07:30Z)
• Does Recommend-Revise Produce Reliable Annotations? An Analysis on Missing Instances in DocRED [60.39125850987604]
  テキスト修正方式は, 偽陰性サンプルと, 人気エンティティや関係性に対する明らかな偏見をもたらすことを示す。 より信頼性の高いドキュメントREモデルのテストセットとして機能するように、relabeledデータセットがリリースされている。
  論文  参考訳（メタデータ） (2022-04-17T11:29:01Z)
• BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
  本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。 我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-03-03T05:31:33Z)
• An Empirical Study on Few-shot Knowledge Probing for Pretrained Language Models [54.74525882974022]
  1ホップと2ホップの双方において、いくつかの例は、探索性能を強く向上させることができることを示す。 特に、モデル内のバイアスベクトルを微調整する単純なyet効果のアプローチが、既存のプロンプトエンジニアリング手法より優れていることが分かる。
  論文  参考訳（メタデータ） (2021-09-06T23:29:36Z)
• Deep Indexed Active Learning for Matching Heterogeneous Entity Representations [20.15233789156307]
  本稿では,ブロッキングのリコールとブロックペアのマッチング精度を最大化するために,組込みを共同で学習するスケーラブルなアクティブラーニング手法であるdiardを提案する。 5つのベンチマークデータセットと多言語レコードマッチングデータセットの実験は、精度、リコール、実行時間の観点から、我々のアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2021-04-08T18:00:19Z)
• Bootstrapping Relation Extractors using Syntactic Search by Examples [47.11932446745022]
  非NLP専門家によって迅速に実行できるトレーニングデータセットのブートストラッププロセスを提案する。 フレンドリーなバイサンプル構文を公開する構文グラフよりも検索エンジンを利用する。 得られたモデルは,手作業による注釈付きデータや遠隔監視から得られたデータに基づいて訓練されたモデルと競合することを示す。
  論文  参考訳（メタデータ） (2021-02-09T18:17:59Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。