論文の概要: Continual Few-shot Relation Learning via Embedding Space Regularization
and Data Augmentation
- arxiv url: http://arxiv.org/abs/2203.02135v1
- Date: Fri, 4 Mar 2022 05:19:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-07 14:20:20.094997
- Title: Continual Few-shot Relation Learning via Embedding Space Regularization
and Data Augmentation
- Title(参考訳): 空間正規化とデータ拡張を組み込んだ連発的ファウショット関係学習
- Authors: Chengwei Qin and Shafiq Joty
- Abstract要約: 従来のタスク知識の破滅的な忘れを回避しつつ,ラベル付きデータが少ない新しい関係パターンを学習する必要がある。
埋め込み空間の正規化とデータ拡張に基づく新しい手法を提案する。
提案手法は,新たな数発タスクに一般化し,リレーショナル埋め込みに対する追加制約を課し,自己管理的なデータ追加を行うことにより,過去のタスクの破滅的な忘れを回避している。
- 参考スコア(独自算出の注目度): 4.111899441919165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing continual relation learning (CRL) methods rely on plenty of labeled
training data for learning a new task, which can be hard to acquire in real
scenario as getting large and representative labeled data is often expensive
and time-consuming. It is therefore necessary for the model to learn novel
relational patterns with very few labeled data while avoiding catastrophic
forgetting of previous task knowledge. In this paper, we formulate this
challenging yet practical problem as continual few-shot relation learning
(CFRL). Based on the finding that learning for new emerging few-shot tasks
often results in feature distributions that are incompatible with previous
tasks' learned distributions, we propose a novel method based on embedding
space regularization and data augmentation. Our method generalizes to new
few-shot tasks and avoids catastrophic forgetting of previous tasks by
enforcing extra constraints on the relational embeddings and by adding extra
{relevant} data in a self-supervised manner. With extensive experiments we
demonstrate that our method can significantly outperform previous
state-of-the-art methods in CFRL task settings.
- Abstract(参考訳): 既存のCRL(Continuousal Relation Learning)手法では,大量のラベル付きトレーニングデータを使って新しいタスクを学習する。
したがって,従来の課題知識の破滅的な忘れを回避しつつ,ラベル付きデータが少ない新しい関係パターンを学習することが不可欠である。
本稿では,この課題をCFRL(Continuous few-shot relation learning)として定式化する。
そこで本稿では,新しいマイナショットタスクの学習が,従来のタスクの学習分布と相容れない特徴分布をもたらすことの多いことに着目し,空間正規化とデータ拡張の組込みに基づく新しい手法を提案する。
提案手法は,新たな数発タスクに一般化し,リレーショナル埋め込みに余分な制約を課し,自己管理的なデータを追加することにより,過去のタスクの破滅的な忘れを避ける。
本研究では,CFRLタスク設定における従来の最先端手法よりも優れた性能を示す。
関連論文リスト
- Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - Prior-Free Continual Learning with Unlabeled Data in the Wild [24.14279172551939]
本稿では,新しいタスクの学習モデルを段階的に更新するPFCL法を提案する。
PFCLはタスクのアイデンティティや以前のデータを知ることなく、新しいタスクを学習する。
実験の結果,PFCL法は3つの学習シナリオすべてにおいて,忘れを著しく軽減することがわかった。
論文 参考訳(メタデータ) (2023-10-16T13:59:56Z) - Large-scale Pre-trained Models are Surprisingly Strong in Incremental
Novel Class Discovery [76.35226130521758]
我々は,MSc-iNCDという,より挑戦的で実践的な学習パラダイムを提案する。
本研究では,MSc-iNCDという,より困難で実践的な学習パラダイムを提案する。
論文 参考訳(メタデータ) (2023-03-28T13:47:16Z) - Preventing Catastrophic Forgetting in Continual Learning of New Natural
Language Tasks [17.879087904904935]
マルチタスク学習(MTL)は、自然言語処理において、1つのモデルで複数の関連するタスクを学習するための標準技術として広く受け入れられている。
通常、システムは時間とともに進化するので、既存のMTLモデルに新しいタスクを追加するには、通常、すべてのタスクをスクラッチから再トレーニングする必要があります。
本稿では、n+1タスクを解くための新しいタスクに、既に訓練済みのnタスクに関するモデルの知識を蒸留することにより、MTLモデルの能力を漸進的に拡張し、新しいタスクを時間とともに解決する問題にアプローチする。
論文 参考訳(メタデータ) (2023-02-22T00:18:25Z) - Relational Experience Replay: Continual Learning by Adaptively Tuning
Task-wise Relationship [54.73817402934303]
本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。
ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
論文 参考訳(メタデータ) (2021-12-31T12:05:22Z) - Exploring Task Difficulty for Few-Shot Relation Extraction [22.585574542329677]
Few-shot Relation extract (FSRE) は、わずかに注釈付きインスタンスで学習することで、新しい関係を認識することに焦点を当てている。
本稿では,関係ラベル情報を活用することで,より良い表現を学習するコントラスト学習に基づく新しいアプローチを提案する。
論文 参考訳(メタデータ) (2021-09-12T09:40:33Z) - Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。
RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
論文 参考訳(メタデータ) (2020-11-19T18:47:40Z) - Continual Deep Learning by Functional Regularisation of Memorable Past [95.97578574330934]
知的システムにとって、新しいスキルを継続的に学習することは重要だが、標準的なディープラーニング手法は、過去の破滅的な忘れ物に悩まされている。
本稿では, 過去の記憶に残るいくつかの例を, 忘れることを避けるために活用する機能正規化手法を提案する。
提案手法は,標準ベンチマーク上での最先端性能を実現し,正規化とメモリベースの手法を自然に組み合わせた生涯学習の新たな方向性を開拓する。
論文 参考訳(メタデータ) (2020-04-29T10:47:54Z) - Generalized Hindsight for Reinforcement Learning [154.0545226284078]
1つのタスクを解決しようとするときに収集された低リワードデータは、そのタスクを解決するための信号をほとんど、あるいは全く提供しない、と我々は主張する。
本稿では,動作を適切なタスクで再現するための近似逆強化学習手法であるGeneralized Hindsightを提案する。
論文 参考訳(メタデータ) (2020-02-26T18:57:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。