論文の概要: Curriculum-Meta Learning for Order-Robust Continual Relation Extraction

• arxiv url: http://arxiv.org/abs/2101.01926v3
• Date: Fri, 8 Jan 2021 10:06:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-11 00:17:26.133955
• Title: Curriculum-Meta Learning for Order-Robust Continual Relation Extraction
• Title（参考訳）: 順序-回転連続関係抽出のためのカリキュラム-メタ学習
• Authors: Tongtong Wu, Xuekai Li, Yuan-Fang Li, Reza Haffari, Guilin Qi, Yujin Zhu and Guoqiang Xu
• Abstract要約: 連続的な関係抽出の課題に取り組むための新しいカリキュラムメタ学習方法を提案する。 メタ学習とカリキュラム学習を組み合わせて、モデルパラメータを新しいタスクに迅速に適応させる。 与えられたモデルの順序感度の程度を定量的に測定する難易度に基づく新しい指標を提案する。
• 参考スコア（独自算出の注目度）: 12.494209368988253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual relation extraction is an important task that focuses on extracting new facts incrementally from unstructured text. Given the sequential arrival order of the relations, this task is prone to two serious challenges, namely catastrophic forgetting and order-sensitivity. We propose a novel curriculum-meta learning method to tackle the above two challenges in continual relation extraction. We combine meta learning and curriculum learning to quickly adapt model parameters to a new task and to reduce interference of previously seen tasks on the current task. We design a novel relation representation learning method through the distribution of domain and range types of relations. Such representations are utilized to quantify the difficulty of tasks for the construction of curricula. Moreover, we also present novel difficulty-based metrics to quantitatively measure the extent of order-sensitivity of a given model, suggesting new ways to evaluate model robustness. Our comprehensive experiments on three benchmark datasets show that our proposed method outperforms the state-of-the-art techniques. The code is available at the anonymous GitHub repository: https://github.com/wutong8023/AAAI_CML.
• Abstract（参考訳）: 連続的関係抽出は、非構造化テキストから段階的に新しい事実を抽出することに焦点を当てた重要なタスクである。 関係の連続した到着順序を考えると、このタスクは2つの深刻な課題、すなわち破滅的な忘れ方と秩序感応性につながる。 連続関係抽出における上記の2つの課題に対処する新しいカリキュラムメタ学習手法を提案する。 メタ学習とカリキュラム学習を組み合わせることで、モデルパラメータを新しいタスクに素早く適応させ、以前のタスクが現在のタスクに干渉することを減らす。 本研究では,関係の領域と範囲の分布を通して,新しい関係表現学習法を設計する。 このような表現は、カリキュラム構築におけるタスクの難しさを定量化するために用いられる。 さらに,与えられたモデルの注文感性度を定量的に測定するための新しい難易度指標を提案し,モデルのロバスト性を評価する新しい方法を提案する。 3つのベンチマークデータセットに関する包括的実験により,提案手法が最先端技術を上回ることを示した。 コードは匿名のgithubリポジトリで入手できる。 https://github.com/wutong8023/aaai_cml。

関連論文リスト

• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Continual Few-shot Relation Learning via Embedding Space Regularization and Data Augmentation [4.111899441919165]
  従来のタスク知識の破滅的な忘れを回避しつつ,ラベル付きデータが少ない新しい関係パターンを学習する必要がある。 埋め込み空間の正規化とデータ拡張に基づく新しい手法を提案する。 提案手法は,新たな数発タスクに一般化し,リレーショナル埋め込みに対する追加制約を課し,自己管理的なデータ追加を行うことにより,過去のタスクの破滅的な忘れを回避している。
  論文  参考訳（メタデータ） (2022-03-04T05:19:09Z)
• Learning Tensor Representations for Meta-Learning [8.185750946886001]
  多様なタスクの集合からメタラーニングのための共有表現のテンソルモデルを導入する。 最初のステップから推定テンソルを置換することで、新しいタスクのごくわずかなサンプルでタスク固有のパラメータを推定できる。
  論文  参考訳（メタデータ） (2022-01-18T23:01:35Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Exploring Task Difficulty for Few-Shot Relation Extraction [22.585574542329677]
  Few-shot Relation extract (FSRE) は、わずかに注釈付きインスタンスで学習することで、新しい関係を認識することに焦点を当てている。 本稿では,関係ラベル情報を活用することで,より良い表現を学習するコントラスト学習に基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-09-12T09:40:33Z)
• Learning Invariant Representation for Continual Learning [5.979373021392084]
  継続的学習の重要な課題は、エージェントが新しいタスクに直面したときに、以前に学んだタスクを壊滅的に忘れることです。 連続学習のための学習不変表現(IRCL)という新しい擬似リハーサル法を提案する。 共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。
  論文  参考訳（メタデータ） (2021-01-15T15:12:51Z)
• Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling [126.69933134648541]
  本稿では,テスト時にアウト・オブ・ディストリビューション・タスクに直面した場合に,効率よく外挿できるメタ強化学習アルゴリズムを提案する。 我々の手法は単純な洞察に基づいており、動的モデルが非政治データに効率的かつ一貫して適応可能であることを認識している。
  論文  参考訳（メタデータ） (2020-06-12T13:34:46Z)
• Meta Cyclical Annealing Schedule: A Simple Approach to Avoiding Meta-Amortization Error [50.83356836818667]
  循環型アニーリングスケジュールとMMD基準を用いた新しいメタレギュラー化目標を構築した。 実験の結果,本手法は標準的なメタ学習アルゴリズムよりもかなり優れていることがわかった。
  論文  参考訳（メタデータ） (2020-03-04T04:43:16Z)
• Automated Relational Meta-learning [95.02216511235191]
  本稿では,クロスタスク関係を自動的に抽出し,メタ知識グラフを構築する自動リレーショナルメタ学習フレームワークを提案する。 我々は,2次元玩具の回帰と少数ショット画像分類に関する広範な実験を行い,ARMLが最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-03T07:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。