論文の概要: Generative Meta-Learning for Zero-Shot Relation Triplet Extraction

• arxiv url: http://arxiv.org/abs/2305.01920v1
• Date: Wed, 3 May 2023 06:34:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-05-04 15:52:19.569259
• Title: Generative Meta-Learning for Zero-Shot Relation Triplet Extraction
• Title（参考訳）: ゼロショット関係トリプレット抽出のための生成メタラーニング
• Authors: Wanli Li, Tieyun Qian
• Abstract要約: 生成モデルの一般化能力を高めるための新しい生成メタラーニングフレームワークを提案する。 具体的には、まず、複数のタスクにまたがる最適化プロセスを強制することで、一般的な知識を学習できるタスク認識生成モデルを設計する。 そこで我々は,3つの典型的なメタラーニングカテゴリに指定される3つの生成メタラーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 12.837901211741443
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The zero-shot relation triplet extraction (ZeroRTE) task aims to extract relation triplets from a piece of text with unseen relation types. The seminal work adopts the pre-trained generative model to generate synthetic samples for new relations. However, current generative models lack the optimization process of model generalization on different tasks during training, and thus have limited generalization capability. For this reason, we propose a novel generative meta-learning framework which exploits the `learning-to-learn' ability of meta-learning to boost the generalization capability of generative models. Specifically, we first design a task-aware generative model which can learn the general knowledge by forcing the optimization process to be conducted across multiple tasks. Based on it, we then present three generative meta-learning approaches designated for three typical meta-learning categories. Extensive experimental results demonstrate that our framework achieves a new state-of-the-art performance for the ZeroRTE task.
• Abstract（参考訳）: ゼロショット関係三重項抽出(ZeroRTE)タスクは、未知の関係型を持つテキストから関係三重項を抽出することを目的としている。 基礎研究は、事前学習された生成モデルを採用し、新しい関係のための合成サンプルを生成する。 しかし、現在の生成モデルでは、トレーニング中の異なるタスクにおけるモデル一般化の最適化プロセスが欠けているため、一般化能力は限られている。 そこで本研究では,メタラーニングの「学習から学習への」能力を利用して,生成モデルの一般化能力を高める新しい生成メタラーニングフレームワークを提案する。 具体的には,複数のタスクにまたがって最適化処理を強制することにより,一般的な知識を学習できるタスク認識生成モデルの設計を行った。 そこで我々は,3つの典型的なメタラーニングカテゴリに指定された3つの生成メタラーニングアプローチを提案する。 我々のフレームワークはZeroRTEタスクに対して新しい最先端性能を実現することを実証した。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.03511469562013]
  3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• FREE: Faster and Better Data-Free Meta-Learning [77.90126669914324]
  Data-Free Meta-Learning (DFML) は、トレーニング済みモデルのコレクションから、元のデータを必要としない知識を抽出することを目的としている。 i)事前訓練されたモデルからトレーニングタスクを迅速に回復するためのメタジェネレータ,(ii)新しい未知のタスクに一般化するためのメタラーナーを含む、より高速で優れたデータフリーなメタラーニングフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-05-02T03:43:19Z)
• Learning from Teaching Regularization: Generalizable Correlations Should be Easy to Imitate [40.5601980891318]
  一般化は依然として機械学習における中心的な課題である。 本稿では,ニューラルネットワークを一般化するための新しい正規化手法であるLearning from Teaching (LoT)を提案する。 LoTはこの概念を運用し、補助的な学生学習者によるメインモデルの一般化を改善する。
  論文  参考訳（メタデータ） (2024-02-05T07:05:17Z)
• Meta-Learned Attribute Self-Interaction Network for Continual and Generalized Zero-Shot Learning [46.6282595346048]
  ゼロショット学習(ZSL)は、トレーニング中のカテゴリーを見えないものに一般化するための有望なアプローチである。 連続的なZSLのためのMAIN(Meta-learned Attribute Self-Interaction Network)を提案する。 メタラーニングと属性エンコーダの逆正則化を用いて学習した属性をペアリングすることで、未知のクラス属性を活用することなく、最先端の成果を達成できる。
  論文  参考訳（メタデータ） (2023-12-02T16:23:01Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning [117.48444197402858]
  データフリーメタトレーニングにおけるePisode cUrriculum inversion(ECI)と、内部ループ後のinvErsion calibRation(ICFIL)を提案する。 ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。 本稿では,ECIを用いたメタトレーニングの最適化過程を,エンド・ツー・エンド方式で近似形式として定式化する。
  論文  参考訳（メタデータ） (2023-03-20T15:10:41Z)
• Zero-shot Triplet Extraction by Template Infilling [13.295751492744081]
  Triplet extractは、非構造化テキストからエンティティのペアとその対応する関係を抽出することを目的としている。 予め訓練された言語モデル (LM) 上で三重項抽出をテンプレート埋め込みタスクに還元することにより, 抽出モデルにゼロショット学習機能を持たせることができることを示す。 生成変換器の事前学習目標にタスク目標を整合させる新しいフレームワークZETTを提案し,未知の関係を一般化する。
  論文  参考訳（メタデータ） (2022-12-21T00:57:24Z)
• General-Purpose In-Context Learning by Meta-Learning Transformers [45.63069059498147]
  本研究では,トランスフォーマーや他のブラックボックスモデルをメタトレーニングして,汎用的なインコンテキスト学習者として機能させることができることを示す。 一般化するアルゴリズム、記憶するアルゴリズム、メタトレーニングに失敗するアルゴリズム間の遷移を特徴付ける。 本稿では,学習アルゴリズムのメタトレーニングとメタ汎用化を改善するためのトレーニング分布の偏りなどの実践的介入を提案する。
  論文  参考訳（メタデータ） (2022-12-08T18:30:22Z)
• PCRED: Zero-shot Relation Triplet Extraction with Potential Candidate Relation Selection and Entity Boundary Detection [11.274924966891842]
  ゼロショット関係三重項抽出(ZeroRTE)は、非構造化テキストから関係三重項を抽出することを目的としている。 従来の最先端の手法は、事前訓練された言語モデルを利用して、追加のトレーニングサンプルとしてデータを生成することで、この困難なタスクを処理する。 我々は,この課題を新たな視点から解決し,候補関係選択とエンティティ境界検出を併用した PCRED for ZeroRTE という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T04:27:31Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Meta-Learning via Classifier(-free) Guidance [5.812784742024491]
  最先端のメタ学習技術は、目に見えないタスクへのゼロショット適応を最適化しない。 本稿では,自然言語指導によるゼロショット性能向上のためのメタ学習手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T11:09:35Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• A Generative Model for Relation Extraction and Classification [23.1277041729626]
  関係抽出・分類のための新しい生成モデル(GREC)を提案する。 本稿では、ソースおよびターゲットシーケンスの様々なエンコーディング表現について検討し、3つのベンチマークREデータセット上でGRECが最先端のパフォーマンスを達成できる効果的なスキームを設計する。 我々のアプローチは1つのパスで文からすべての関係三重項を抽出するために拡張することができる。
  論文  参考訳（メタデータ） (2022-02-26T21:17:18Z)
• Generating meta-learning tasks to evolve parametric loss for classification learning [1.1355370218310157]
  既存のメタ学習アプローチでは、メタモデルをトレーニングするための学習タスクは通常、公開データセットから収集される。 本稿では,ランダムに生成したメタ学習タスクに基づくメタ学習手法を提案し,ビッグデータに基づく分類学習におけるパラメトリックな損失を求める。
  論文  参考訳（メタデータ） (2021-11-20T13:07:55Z)
• Improving Non-autoregressive Generation with Mixup Training [51.61038444990301]
  本稿では,事前学習したトランスモデルに基づく非自己回帰生成モデルを提案する。 我々はMIxソースと擬似ターゲットという,シンプルで効果的な反復訓練手法を提案する。 質問生成,要約,パラフレーズ生成を含む3つの世代ベンチマーク実験により,提案手法が新たな最先端結果を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-21T13:04:21Z)
• A Brief Summary of Interactions Between Meta-Learning and Self-Supervised Learning [0.0]
  本稿ではメタラーニングと自己指導型学習の関連について概説する。 メタラーニングと自己教師付き学習モデルの統合は,モデル一般化能力の向上に最も貢献できることを示す。
  論文  参考訳（メタデータ） (2021-03-01T08:31:28Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• Contrastive Triple Extraction with Generative Transformer [72.21467482853232]
  生成変換器を用いた新しい3重抽出モデルを提案する。 具体的には,エンコーダデコーダをベースとした1つの共有トランスフォーマモジュールを提案する。 忠実な結果を得るために,新しい三重項コントラストトレーニングオブジェクトを提案する。
  論文  参考訳（メタデータ） (2020-09-14T05:29:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。