論文の概要: Zero-shot Triplet Extraction by Template Infilling

• arxiv url: http://arxiv.org/abs/2212.10708v1
• Date: Wed, 21 Dec 2022 00:57:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 14:38:28.146301
• Title: Zero-shot Triplet Extraction by Template Infilling
• Title（参考訳）: テンプレート入力によるゼロショットトリプレット抽出
• Authors: Bosung Kim, Hayate Iso, Nikita Bhutani, Estevam Hruschka, Ndapa Nakashole
• Abstract要約: トリプルト抽出は、非構造化テキストでエンティティとその対応する関係を抽出することを目的としている。 既存のほとんどの手法は、高品質なトレーニングデータに基づいて抽出モデルを訓練する。 事前訓練された言語モデル上でのテンプレート充足タスクへのトリプレット抽出の削減は、ゼロショット学習機能を備えたモデルに匹敵するものであると論じる。
• 参考スコア（独自算出の注目度）: 16.257897940513537
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Triplet extraction aims to extract entities and their corresponding relations in unstructured text. Most existing methods train an extraction model on high-quality training data, and hence are incapable of extracting relations that were not observed during training. Generalizing the model to unseen relations typically requires fine-tuning on synthetic training data which is often noisy and unreliable. In this paper, we argue that reducing triplet extraction to a template filling task over a pre-trained language model can equip the model with zero-shot learning capabilities and enable it to leverage the implicit knowledge in the language model. Embodying these ideas, we propose a novel framework, ZETT (ZEro-shot Triplet extraction by Template infilling), that is based on end-to-end generative transformers. Our experiments show that without any data augmentation or pipeline systems, ZETT can outperform previous state-of-the-art models with 25% less parameters. We further show that ZETT is more robust in detecting entities and can be incorporated with automatically generated templates for relations.
• Abstract（参考訳）: Triplet extractは、非構造化テキストでエンティティとその対応する関係を抽出することを目的としている。 既存の手法の多くは、高品質なトレーニングデータに基づいて抽出モデルを訓練しており、訓練中に観察されなかった関係を抽出できない。 モデルを認識不能な関係に一般化するには、通常、ノイズが多く信頼性の低い合成トレーニングデータの微調整が必要となる。 本稿では,事前訓練された言語モデル上でのテンプレート充足タスクへのトリプレット抽出の削減が,ゼロショット学習能力を備えたモデルと,言語モデルにおける暗黙的知識の活用を可能にすることを論じる。 これらの概念を具体化し,エンドツーエンド生成変換器に基づく新しいフレームワークであるzett (zero-shot triplet extraction by template infilling)を提案する。 我々の実験によると、データ拡張やパイプラインシステムなしでは、ZETTは従来の最先端モデルよりも25%少ないパラメータで性能を向上できる。 さらに、ZETTはエンティティの検出においてより堅牢であり、自動的に生成されたテンプレートを組み込むことができることを示す。

関連論文リスト

• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• ProtoNER: Few shot Incremental Learning for Named Entity Recognition using Prototypical Networks [7.317342506617286]
  プロトタイプネットワークに基づくエンドツーエンドKVP抽出モデルを示す。 モデルの初期トレーニングに使用されるデータセットに依存しない。 ノイズを付加し、結果としてモデルの性能劣化を引き起こすような中間合成データ生成は行われない。
  論文  参考訳（メタデータ） (2023-10-03T18:52:19Z)
• Generative Meta-Learning for Zero-Shot Relation Triplet Extraction [12.837901211741443]
  生成モデルの一般化能力を高めるための新しい生成メタラーニングフレームワークを提案する。 具体的には、まず、複数のタスクにまたがる最適化プロセスを強制することで、一般的な知識を学習できるタスク認識生成モデルを設計する。 そこで我々は,3つの典型的なメタラーニングカテゴリに指定される3つの生成メタラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-05-03T06:34:39Z)
• PCRED: Zero-shot Relation Triplet Extraction with Potential Candidate Relation Selection and Entity Boundary Detection [11.274924966891842]
  ゼロショット関係三重項抽出(ZeroRTE)は、非構造化テキストから関係三重項を抽出することを目的としている。 従来の最先端の手法は、事前訓練された言語モデルを利用して、追加のトレーニングサンプルとしてデータを生成することで、この困難なタスクを処理する。 我々は,この課題を新たな視点から解決し,候補関係選択とエンティティ境界検出を併用した PCRED for ZeroRTE という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T04:27:31Z)
• Falsesum: Generating Document-level NLI Examples for Recognizing Factual Inconsistency in Summarization [63.21819285337555]
  高品質なタスク指向の例でトレーニングデータを拡張した場合,NLIモデルがこのタスクに有効であることを示す。 我々は、制御可能なテキスト生成モデルを利用して、人間の注釈付き要約を摂動させるデータ生成パイプラインであるFalsesumを紹介した。 本研究では,Falsesumを付加したNLIデータセットでトレーニングしたモデルにより,4つのベンチマークを用いて,要約における事実整合性を検出することにより,最先端のパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2022-05-12T10:43:42Z)
• RelationPrompt: Leveraging Prompts to Generate Synthetic Data for Zero-Shot Relation Triplet Extraction [65.4337085607711]
  ゼロショット関係トリプルト抽出(ZeroRTE)のタスク設定について紹介する。 入力文が与えられた後、抽出された各三重項は、トレーニング段階で関係ラベルが見えないヘッドエンティティ、リレーションラベル、テールエンティティから構成される。 本稿では、言語モデルに構造化テキストを生成するよう促すことで、関係例を合成する。
  論文  参考訳（メタデータ） (2022-03-17T05:55:14Z)
• Partially-Aligned Data-to-Text Generation with Distant Supervision [69.15410325679635]
  我々はPADTG(Partially-Aligned Data-to-Text Generation)と呼ばれる新しい生成タスクを提案する。 自動的にアノテートされたデータをトレーニングに利用し、アプリケーションドメインを大幅に拡張するため、より実用的です。 我々のフレームワークは、全てのベースラインモデルより優れており、部分整合データの利用の可能性を検証する。
  論文  参考訳（メタデータ） (2020-10-03T03:18:52Z)
• Contrastive Triple Extraction with Generative Transformer [72.21467482853232]
  生成変換器を用いた新しい3重抽出モデルを提案する。 具体的には,エンコーダデコーダをベースとした1つの共有トランスフォーマモジュールを提案する。 忠実な結果を得るために,新しい三重項コントラストトレーニングオブジェクトを提案する。
  論文  参考訳（メタデータ） (2020-09-14T05:29:24Z)
• Downstream Model Design of Pre-trained Language Model for Relation Extraction Task [6.608858001497843]
  近年の情報抽出分野において,ディープニューラルネットワークに基づく教師付き関係抽出手法が重要な役割を担っている。 特別な損失関数を持つ新しいネットワークアーキテクチャは、教師付き関係抽出のためのPLMの下流モデルとして機能するように設計されている。
  論文  参考訳（メタデータ） (2020-04-08T03:16:06Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。