論文の概要: Generative Meta-Learning for Zero-Shot Relation Triplet Extraction

• arxiv url: http://arxiv.org/abs/2305.01920v1
• Date: Wed, 3 May 2023 06:34:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-04 15:52:19.569259
• Title: Generative Meta-Learning for Zero-Shot Relation Triplet Extraction
• Title（参考訳）: ゼロショット関係トリプレット抽出のための生成メタラーニング
• Authors: Wanli Li, Tieyun Qian
• Abstract要約: 生成モデルの一般化能力を高めるための新しい生成メタラーニングフレームワークを提案する。 具体的には、まず、複数のタスクにまたがる最適化プロセスを強制することで、一般的な知識を学習できるタスク認識生成モデルを設計する。 そこで我々は,3つの典型的なメタラーニングカテゴリに指定される3つの生成メタラーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 12.837901211741443
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The zero-shot relation triplet extraction (ZeroRTE) task aims to extract relation triplets from a piece of text with unseen relation types. The seminal work adopts the pre-trained generative model to generate synthetic samples for new relations. However, current generative models lack the optimization process of model generalization on different tasks during training, and thus have limited generalization capability. For this reason, we propose a novel generative meta-learning framework which exploits the `learning-to-learn' ability of meta-learning to boost the generalization capability of generative models. Specifically, we first design a task-aware generative model which can learn the general knowledge by forcing the optimization process to be conducted across multiple tasks. Based on it, we then present three generative meta-learning approaches designated for three typical meta-learning categories. Extensive experimental results demonstrate that our framework achieves a new state-of-the-art performance for the ZeroRTE task.
• Abstract（参考訳）: ゼロショット関係三重項抽出(ZeroRTE)タスクは、未知の関係型を持つテキストから関係三重項を抽出することを目的としている。 基礎研究は、事前学習された生成モデルを採用し、新しい関係のための合成サンプルを生成する。 しかし、現在の生成モデルでは、トレーニング中の異なるタスクにおけるモデル一般化の最適化プロセスが欠けているため、一般化能力は限られている。 そこで本研究では,メタラーニングの「学習から学習への」能力を利用して,生成モデルの一般化能力を高める新しい生成メタラーニングフレームワークを提案する。 具体的には,複数のタスクにまたがって最適化処理を強制することにより,一般的な知識を学習できるタスク認識生成モデルの設計を行った。 そこで我々は,3つの典型的なメタラーニングカテゴリに指定された3つの生成メタラーニングアプローチを提案する。 我々のフレームワークはZeroRTEタスクに対して新しい最先端性能を実現することを実証した。

関連論文リスト

• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Zero-shot Triplet Extraction by Template Infilling [13.295751492744081]
  Triplet extractは、非構造化テキストからエンティティのペアとその対応する関係を抽出することを目的としている。 予め訓練された言語モデル (LM) 上で三重項抽出をテンプレート埋め込みタスクに還元することにより, 抽出モデルにゼロショット学習機能を持たせることができることを示す。 生成変換器の事前学習目標にタスク目標を整合させる新しいフレームワークZETTを提案し,未知の関係を一般化する。
  論文  参考訳（メタデータ） (2022-12-21T00:57:24Z)
• PCRED: Zero-shot Relation Triplet Extraction with Potential Candidate Relation Selection and Entity Boundary Detection [11.274924966891842]
  ゼロショット関係三重項抽出(ZeroRTE)は、非構造化テキストから関係三重項を抽出することを目的としている。 従来の最先端の手法は、事前訓練された言語モデルを利用して、追加のトレーニングサンプルとしてデータを生成することで、この困難なタスクを処理する。 我々は,この課題を新たな視点から解決し,候補関係選択とエンティティ境界検出を併用した PCRED for ZeroRTE という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T04:27:31Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Meta-Learning via Classifier(-free) Guidance [5.812784742024491]
  最先端のメタ学習技術は、目に見えないタスクへのゼロショット適応を最適化しない。 本稿では,自然言語指導によるゼロショット性能向上のためのメタ学習手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T11:09:35Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• A Generative Model for Relation Extraction and Classification [23.1277041729626]
  関係抽出・分類のための新しい生成モデル(GREC)を提案する。 本稿では、ソースおよびターゲットシーケンスの様々なエンコーディング表現について検討し、3つのベンチマークREデータセット上でGRECが最先端のパフォーマンスを達成できる効果的なスキームを設計する。 我々のアプローチは1つのパスで文からすべての関係三重項を抽出するために拡張することができる。
  論文  参考訳（メタデータ） (2022-02-26T21:17:18Z)
• Improving Non-autoregressive Generation with Mixup Training [51.61038444990301]
  本稿では,事前学習したトランスモデルに基づく非自己回帰生成モデルを提案する。 我々はMIxソースと擬似ターゲットという,シンプルで効果的な反復訓練手法を提案する。 質問生成,要約,パラフレーズ生成を含む3つの世代ベンチマーク実験により,提案手法が新たな最先端結果を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-21T13:04:21Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• Contrastive Triple Extraction with Generative Transformer [72.21467482853232]
  生成変換器を用いた新しい3重抽出モデルを提案する。 具体的には,エンコーダデコーダをベースとした1つの共有トランスフォーマモジュールを提案する。 忠実な結果を得るために,新しい三重項コントラストトレーニングオブジェクトを提案する。
  論文  参考訳（メタデータ） (2020-09-14T05:29:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。