論文の概要: Generative Meta-Learning for Zero-Shot Relation Triplet Extraction

• arxiv url: http://arxiv.org/abs/2305.01920v2
• Date: Sat, 26 Apr 2025 11:09:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:51.490459
• Title: Generative Meta-Learning for Zero-Shot Relation Triplet Extraction
• Title（参考訳）: ゼロショット関係トリプレット抽出のための生成メタラーニング
• Authors: Wanli Li, Tieyun Qian, Yi Song, Zeyu Zhang, Jiawei Li, Zhuang Chen, Lixin Zou,
• Abstract要約: ゼロショット関係トリプレット抽出 (ZeroRTE) は、未知の関係型を含むテキストから関係トリプレットを抽出することを目的としている。 既存のアプローチは一般的に、事前訓練された言語モデルに埋め込まれた知識を活用して一般化プロセスを達成する。 本稿では,メタ学習の学習能力を利用して生成モデルの一般化能力を向上する生成メタ学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 20.556880137419064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot Relation Triplet Extraction (ZeroRTE) aims to extract relation triplets from texts containing unseen relation types. This capability benefits various downstream information retrieval (IR) tasks. The primary challenge lies in enabling models to generalize effectively to unseen relation categories. Existing approaches typically leverage the knowledge embedded in pre-trained language models to accomplish the generalization process. However, these methods focus solely on fitting the training data during training, without specifically improving the model's generalization performance, resulting in limited generalization capability. For this reason, we explore the integration of bi-level optimization (BLO) with pre-trained language models for learning generalized knowledge directly from the training data, and propose a generative meta-learning framework which exploits the `learning-to-learn' ability of meta-learning to boost the generalization capability of generative models. Specifically, we introduce a BLO approach that simultaneously addresses data fitting and generalization. This is achieved by constructing an upper-level loss to focus on generalization and a lower-level loss to ensure accurate data fitting. Building on this, we subsequently develop three generative meta-learning methods, each tailored to a distinct category of meta-learning. Extensive experimental results demonstrate that our framework performs well on the ZeroRTE task. Our code is available at https://github.com/leeworry/TGM-MetaLearning.
• Abstract（参考訳）: ゼロショット関係トリプレット抽出 (ZeroRTE) は、未知の関係型を含むテキストから関係トリプレットを抽出することを目的としている。 この機能は、様々なダウンストリーム情報検索(IR)タスクに役立ちます。 第一の課題は、モデルが目に見えない関係カテゴリに効果的に一般化できるようにすることである。 既存のアプローチは一般的に、事前訓練された言語モデルに埋め込まれた知識を活用して一般化プロセスを達成する。 しかし、これらの手法は、モデル一般化性能を特に改善することなく、トレーニング中のトレーニングデータの適合にのみ焦点を合わせ、その結果、限定的な一般化能力が得られる。 そこで本研究では,2段階最適化(BLO)と事前学習した言語モデルの統合をトレーニングデータから直接学習し,メタ学習の「学習から学習への」能力を活用して生成モデルの一般化能力を向上する生成メタラーニングフレームワークを提案する。 具体的には、データの適合性と一般化を同時に扱うBLOアプローチを提案する。 これは、一般化に焦点をあてる上位レベルの損失と、正確なデータフィッティングを保証する下位レベルの損失を構築することで達成される。 これに基づいて、3つの生成的メタラーニング手法を開発し、それぞれが異なるメタラーニングのカテゴリに適合する。 我々のフレームワークはZeroRTEタスクでよく機能することを示した。 私たちのコードはhttps://github.com/leeworry/TGM-MetaLearning.comで公開されています。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.03511469562013]
  3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• FREE: Faster and Better Data-Free Meta-Learning [77.90126669914324]
  Data-Free Meta-Learning (DFML) は、トレーニング済みモデルのコレクションから、元のデータを必要としない知識を抽出することを目的としている。 i)事前訓練されたモデルからトレーニングタスクを迅速に回復するためのメタジェネレータ,(ii)新しい未知のタスクに一般化するためのメタラーナーを含む、より高速で優れたデータフリーなメタラーニングフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-05-02T03:43:19Z)
• Learning from Teaching Regularization: Generalizable Correlations Should be Easy to Imitate [40.5601980891318]
  一般化は依然として機械学習における中心的な課題である。 本稿では,ニューラルネットワークを一般化するための新しい正規化手法であるLearning from Teaching (LoT)を提案する。 LoTはこの概念を運用し、補助的な学生学習者によるメインモデルの一般化を改善する。
  論文  参考訳（メタデータ） (2024-02-05T07:05:17Z)
• Meta-Learned Attribute Self-Interaction Network for Continual and Generalized Zero-Shot Learning [46.6282595346048]
  ゼロショット学習(ZSL)は、トレーニング中のカテゴリーを見えないものに一般化するための有望なアプローチである。 連続的なZSLのためのMAIN(Meta-learned Attribute Self-Interaction Network)を提案する。 メタラーニングと属性エンコーダの逆正則化を用いて学習した属性をペアリングすることで、未知のクラス属性を活用することなく、最先端の成果を達成できる。
  論文  参考訳（メタデータ） (2023-12-02T16:23:01Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning [117.48444197402858]
  データフリーメタトレーニングにおけるePisode cUrriculum inversion(ECI)と、内部ループ後のinvErsion calibRation(ICFIL)を提案する。 ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。 本稿では,ECIを用いたメタトレーニングの最適化過程を,エンド・ツー・エンド方式で近似形式として定式化する。
  論文  参考訳（メタデータ） (2023-03-20T15:10:41Z)
• Zero-shot Triplet Extraction by Template Infilling [13.295751492744081]
  Triplet extractは、非構造化テキストからエンティティのペアとその対応する関係を抽出することを目的としている。 予め訓練された言語モデル (LM) 上で三重項抽出をテンプレート埋め込みタスクに還元することにより, 抽出モデルにゼロショット学習機能を持たせることができることを示す。 生成変換器の事前学習目標にタスク目標を整合させる新しいフレームワークZETTを提案し,未知の関係を一般化する。
  論文  参考訳（メタデータ） (2022-12-21T00:57:24Z)
• General-Purpose In-Context Learning by Meta-Learning Transformers [45.63069059498147]
  本研究では,トランスフォーマーや他のブラックボックスモデルをメタトレーニングして,汎用的なインコンテキスト学習者として機能させることができることを示す。 一般化するアルゴリズム、記憶するアルゴリズム、メタトレーニングに失敗するアルゴリズム間の遷移を特徴付ける。 本稿では,学習アルゴリズムのメタトレーニングとメタ汎用化を改善するためのトレーニング分布の偏りなどの実践的介入を提案する。
  論文  参考訳（メタデータ） (2022-12-08T18:30:22Z)
• PCRED: Zero-shot Relation Triplet Extraction with Potential Candidate Relation Selection and Entity Boundary Detection [11.274924966891842]
  ゼロショット関係三重項抽出(ZeroRTE)は、非構造化テキストから関係三重項を抽出することを目的としている。 従来の最先端の手法は、事前訓練された言語モデルを利用して、追加のトレーニングサンプルとしてデータを生成することで、この困難なタスクを処理する。 我々は,この課題を新たな視点から解決し,候補関係選択とエンティティ境界検出を併用した PCRED for ZeroRTE という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T04:27:31Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Meta-Learning via Classifier(-free) Guidance [5.812784742024491]
  最先端のメタ学習技術は、目に見えないタスクへのゼロショット適応を最適化しない。 本稿では,自然言語指導によるゼロショット性能向上のためのメタ学習手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T11:09:35Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• A Generative Model for Relation Extraction and Classification [23.1277041729626]
  関係抽出・分類のための新しい生成モデル(GREC)を提案する。 本稿では、ソースおよびターゲットシーケンスの様々なエンコーディング表現について検討し、3つのベンチマークREデータセット上でGRECが最先端のパフォーマンスを達成できる効果的なスキームを設計する。 我々のアプローチは1つのパスで文からすべての関係三重項を抽出するために拡張することができる。
  論文  参考訳（メタデータ） (2022-02-26T21:17:18Z)
• Generating meta-learning tasks to evolve parametric loss for classification learning [1.1355370218310157]
  既存のメタ学習アプローチでは、メタモデルをトレーニングするための学習タスクは通常、公開データセットから収集される。 本稿では,ランダムに生成したメタ学習タスクに基づくメタ学習手法を提案し,ビッグデータに基づく分類学習におけるパラメトリックな損失を求める。
  論文  参考訳（メタデータ） (2021-11-20T13:07:55Z)
• Improving Non-autoregressive Generation with Mixup Training [51.61038444990301]
  本稿では,事前学習したトランスモデルに基づく非自己回帰生成モデルを提案する。 我々はMIxソースと擬似ターゲットという,シンプルで効果的な反復訓練手法を提案する。 質問生成,要約,パラフレーズ生成を含む3つの世代ベンチマーク実験により,提案手法が新たな最先端結果を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-21T13:04:21Z)
• A Brief Summary of Interactions Between Meta-Learning and Self-Supervised Learning [0.0]
  本稿ではメタラーニングと自己指導型学習の関連について概説する。 メタラーニングと自己教師付き学習モデルの統合は,モデル一般化能力の向上に最も貢献できることを示す。
  論文  参考訳（メタデータ） (2021-03-01T08:31:28Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• Contrastive Triple Extraction with Generative Transformer [72.21467482853232]
  生成変換器を用いた新しい3重抽出モデルを提案する。 具体的には,エンコーダデコーダをベースとした1つの共有トランスフォーマモジュールを提案する。 忠実な結果を得るために,新しい三重項コントラストトレーニングオブジェクトを提案する。
  論文  参考訳（メタデータ） (2020-09-14T05:29:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。