論文の概要: Zero-shot Triplet Extraction by Template Infilling

• arxiv url: http://arxiv.org/abs/2212.10708v2
• Date: Wed, 20 Sep 2023 05:12:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 00:36:36.057566
• Title: Zero-shot Triplet Extraction by Template Infilling
• Title（参考訳）: テンプレート入力によるゼロショットトリプレット抽出
• Authors: Bosung Kim, Hayate Iso, Nikita Bhutani, Estevam Hruschka, Ndapa Nakashole, Tom Mitchell
• Abstract要約: Triplet extractは、非構造化テキストからエンティティのペアとその対応する関係を抽出することを目的としている。 予め訓練された言語モデル (LM) 上で三重項抽出をテンプレート埋め込みタスクに還元することにより, 抽出モデルにゼロショット学習機能を持たせることができることを示す。 生成変換器の事前学習目標にタスク目標を整合させる新しいフレームワークZETTを提案し,未知の関係を一般化する。
• 参考スコア（独自算出の注目度）: 13.295751492744081
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The task of triplet extraction aims to extract pairs of entities and their corresponding relations from unstructured text. Most existing methods train an extraction model on training data involving specific target relations, and are incapable of extracting new relations that were not observed at training time. Generalizing the model to unseen relations typically requires fine-tuning on synthetic training data which is often noisy and unreliable. We show that by reducing triplet extraction to a template infilling task over a pre-trained language model (LM), we can equip the extraction model with zero-shot learning capabilities and eliminate the need for additional training data. We propose a novel framework, ZETT (ZEro-shot Triplet extraction by Template infilling), that aligns the task objective to the pre-training objective of generative transformers to generalize to unseen relations. Experiments on FewRel and Wiki-ZSL datasets demonstrate that ZETT shows consistent and stable performance, outperforming previous state-of-the-art methods, even when using automatically generated templates. https://github.com/megagonlabs/zett/
• Abstract（参考訳）: 三重項抽出の課題は、非構造化テキストから一対の実体とその対応する関係を抽出することである。 既存のほとんどの方法は、特定の対象関係を含む訓練データから抽出モデルを訓練し、訓練時に観測されなかった新しい関係を抽出することができない。 モデルを認識不能な関係に一般化するには、通常、ノイズが多く信頼性の低い合成トレーニングデータの微調整が必要となる。 予め訓練された言語モデル(LM)上でのテンプレート埋め込みタスクにトリプレット抽出を還元することにより、ゼロショット学習機能を備えた抽出モデルと、追加のトレーニングデータの必要性を排除できることが示される。 本稿では,生成トランスフォーマの事前学習目標とタスク目標を整合させ,無意識の関係に一般化する,新たなフレームワークであるzett(zero-shot triplet extraction by template infilling)を提案する。 FewRelとWiki-ZSLデータセットの実験では、ZETTは一貫性と安定したパフォーマンスを示し、自動生成されたテンプレートを使用しても、従来の最先端メソッドよりも優れたパフォーマンスを示している。 https://github.com/megagonlabs/zett/

関連論文リスト

• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• ProtoNER: Few shot Incremental Learning for Named Entity Recognition using Prototypical Networks [7.317342506617286]
  プロトタイプネットワークに基づくエンドツーエンドKVP抽出モデルを示す。 モデルの初期トレーニングに使用されるデータセットに依存しない。 ノイズを付加し、結果としてモデルの性能劣化を引き起こすような中間合成データ生成は行われない。
  論文  参考訳（メタデータ） (2023-10-03T18:52:19Z)
• Generative Meta-Learning for Zero-Shot Relation Triplet Extraction [12.837901211741443]
  生成モデルの一般化能力を高めるための新しい生成メタラーニングフレームワークを提案する。 具体的には、まず、複数のタスクにまたがる最適化プロセスを強制することで、一般的な知識を学習できるタスク認識生成モデルを設計する。 そこで我々は,3つの典型的なメタラーニングカテゴリに指定される3つの生成メタラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-05-03T06:34:39Z)
• PCRED: Zero-shot Relation Triplet Extraction with Potential Candidate Relation Selection and Entity Boundary Detection [11.274924966891842]
  ゼロショット関係三重項抽出(ZeroRTE)は、非構造化テキストから関係三重項を抽出することを目的としている。 従来の最先端の手法は、事前訓練された言語モデルを利用して、追加のトレーニングサンプルとしてデータを生成することで、この困難なタスクを処理する。 我々は,この課題を新たな視点から解決し,候補関係選択とエンティティ境界検出を併用した PCRED for ZeroRTE という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T04:27:31Z)
• Falsesum: Generating Document-level NLI Examples for Recognizing Factual Inconsistency in Summarization [63.21819285337555]
  高品質なタスク指向の例でトレーニングデータを拡張した場合,NLIモデルがこのタスクに有効であることを示す。 我々は、制御可能なテキスト生成モデルを利用して、人間の注釈付き要約を摂動させるデータ生成パイプラインであるFalsesumを紹介した。 本研究では,Falsesumを付加したNLIデータセットでトレーニングしたモデルにより,4つのベンチマークを用いて,要約における事実整合性を検出することにより,最先端のパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2022-05-12T10:43:42Z)
• RelationPrompt: Leveraging Prompts to Generate Synthetic Data for Zero-Shot Relation Triplet Extraction [65.4337085607711]
  ゼロショット関係トリプルト抽出(ZeroRTE)のタスク設定について紹介する。 入力文が与えられた後、抽出された各三重項は、トレーニング段階で関係ラベルが見えないヘッドエンティティ、リレーションラベル、テールエンティティから構成される。 本稿では、言語モデルに構造化テキストを生成するよう促すことで、関係例を合成する。
  論文  参考訳（メタデータ） (2022-03-17T05:55:14Z)
• Partially-Aligned Data-to-Text Generation with Distant Supervision [69.15410325679635]
  我々はPADTG(Partially-Aligned Data-to-Text Generation)と呼ばれる新しい生成タスクを提案する。 自動的にアノテートされたデータをトレーニングに利用し、アプリケーションドメインを大幅に拡張するため、より実用的です。 我々のフレームワークは、全てのベースラインモデルより優れており、部分整合データの利用の可能性を検証する。
  論文  参考訳（メタデータ） (2020-10-03T03:18:52Z)
• Contrastive Triple Extraction with Generative Transformer [72.21467482853232]
  生成変換器を用いた新しい3重抽出モデルを提案する。 具体的には,エンコーダデコーダをベースとした1つの共有トランスフォーマモジュールを提案する。 忠実な結果を得るために,新しい三重項コントラストトレーニングオブジェクトを提案する。
  論文  参考訳（メタデータ） (2020-09-14T05:29:24Z)
• Downstream Model Design of Pre-trained Language Model for Relation Extraction Task [6.608858001497843]
  近年の情報抽出分野において,ディープニューラルネットワークに基づく教師付き関係抽出手法が重要な役割を担っている。 特別な損失関数を持つ新しいネットワークアーキテクチャは、教師付き関係抽出のためのPLMの下流モデルとして機能するように設計されている。
  論文  参考訳（メタデータ） (2020-04-08T03:16:06Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。