論文の概要: Serial Contrastive Knowledge Distillation for Continual Few-shot
Relation Extraction
- arxiv url: http://arxiv.org/abs/2305.06616v1
- Date: Thu, 11 May 2023 07:25:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-12 15:38:04.846870
- Title: Serial Contrastive Knowledge Distillation for Continual Few-shot
Relation Extraction
- Title(参考訳): 連続Few-shot関係抽出のためのシリアルコントラスト知識蒸留
- Authors: Xinyi Wang and Zitao Wang and Wei Hu
- Abstract要約: 本稿では,連続的な数発のREタスクを実現するために,SCKDという新しいモデルを提案する。
具体的には,従来のモデルからの知識を保存するために,シリアル知識蒸留を設計する。
SCKDの有効性を2つのベンチマーク・データセットで検証した。
- 参考スコア(独自算出の注目度): 35.79570854392989
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual few-shot relation extraction (RE) aims to continuously train a
model for new relations with few labeled training data, of which the major
challenges are the catastrophic forgetting of old relations and the overfitting
caused by data sparsity. In this paper, we propose a new model, namely SCKD, to
accomplish the continual few-shot RE task. Specifically, we design serial
knowledge distillation to preserve the prior knowledge from previous models and
conduct contrastive learning with pseudo samples to keep the representations of
samples in different relations sufficiently distinguishable. Our experiments on
two benchmark datasets validate the effectiveness of SCKD for continual
few-shot RE and its superiority in knowledge transfer and memory utilization
over state-of-the-art models.
- Abstract(参考訳): 連続的数ショット関係抽出(RE)は、ラベル付きトレーニングデータはほとんどなく、新しい関係のモデルを継続的に訓練することを目的としており、その主な課題は、古い関係の破滅的な忘れ、データ疎結合による過度な適合である。
本稿では,連続的なREタスクを実現するために,SCKDと呼ばれる新しいモデルを提案する。
具体的には,従来のモデルからの知識を保存し,擬似サンプルと対比学習を行い,異なる関係のサンプルの表現を十分に区別できるようにシリアル知識蒸留を設計する。
2つのベンチマークデータセットを用いた実験により,SCKDの連続的数ショットREの有効性と,その知識伝達およびメモリ利用における優位性について検証した。
関連論文リスト
- Contrastive Continual Learning with Importance Sampling and
Prototype-Instance Relation Distillation [14.25441464051506]
本稿では,従来のデータ分布を復元し,知識の保存を目的としたコントラスト連続学習(Contrastive Continual Learning via Importance Smpling, CCLIS)を提案する。
また,プロトタイプとサンプル表現の関係を維持する技術であるPRD(Prototype-instance Relation Distillation)の損失について述べる。
論文 参考訳(メタデータ) (2024-03-07T15:47:52Z) - Learning to Maximize Mutual Information for Chain-of-Thought
Distillation [14.47452997404004]
CoT蒸留を利用した新しい手法であるDistilling Step-by-Step (DSS) は、より大型のモデルに対して優れた推論能力を持つ小型モデルを投入することで、約束を証明している。
しかし、DSSは2つのトレーニングタスクの本質的な関係を見落とし、CoT知識とラベル予測のタスクの非効率な統合につながる。
本稿では,この最適化問題を学習に基づく手法を用いて解くための変分手法を提案する。
論文 参考訳(メタデータ) (2024-03-05T22:21:45Z) - Robust Training of Federated Models with Extremely Label Deficiency [84.00832527512148]
フェデレーション半教師付き学習(FSSL)は、ラベル不足を伴う分散データを用いて機械学習モデルを協調訓練するための強力なパラダイムとして登場した。
我々は,ラベル付きおよびラベルなしデータの異なる視点から洞察を提供することにより相互指導を強化するために,ツインサイトと呼ばれる新しいツインモデルパラダイムを提案する。
4つのベンチマークデータセットに関する包括的な実験は、Twin-sightが様々な実験環境において最先端の手法を著しく上回っていることを示す重要な証拠となる。
論文 参考訳(メタデータ) (2024-02-22T10:19:34Z) - Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts
in Underspecified Visual Tasks [92.32670915472099]
拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。
拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
論文 参考訳(メタデータ) (2023-10-03T17:37:52Z) - Improving Continual Relation Extraction by Distinguishing Analogous
Semantics [11.420578494453343]
連続的関係抽出は、学習した関係を忘れずに、絶えず出現する関係を学習することを目的としている。
既存のワークには、忘れを緩和するためにモデルをトレーニングするために、少数の典型的なサンプルが格納されている。
我々は既存の作品について実証的研究を行い、それらの業績が類似関係に強く影響されていることを観察する。
論文 参考訳(メタデータ) (2023-05-11T07:32:20Z) - How to Train Your DRAGON: Diverse Augmentation Towards Generalizable
Dense Retrieval [80.54532535622988]
教師付き検索とゼロショット検索の両方において高い精度を達成するために、一般化可能な高密度検索を訓練できることが示される。
多様な拡張で訓練された高密度レトリバーであるDRAGONは、教師付きおよびゼロショット評価の両方において最先端の有効性を実現する最初のBERTベースサイズのDRである。
論文 参考訳(メタデータ) (2023-02-15T03:53:26Z) - Consistent Representation Learning for Continual Relation Extraction [18.694012937149495]
関係埋め込みの安定性を維持する一貫した表現学習法を提案する。
我々の手法は最先端のベースラインを著しく上回り、不均衡なデータセットに強い堅牢性をもたらす。
論文 参考訳(メタデータ) (2022-03-05T12:16:34Z) - Continual Few-shot Relation Learning via Embedding Space Regularization
and Data Augmentation [4.111899441919165]
従来のタスク知識の破滅的な忘れを回避しつつ,ラベル付きデータが少ない新しい関係パターンを学習する必要がある。
埋め込み空間の正規化とデータ拡張に基づく新しい手法を提案する。
提案手法は,新たな数発タスクに一般化し,リレーショナル埋め込みに対する追加制約を課し,自己管理的なデータ追加を行うことにより,過去のタスクの破滅的な忘れを回避している。
論文 参考訳(メタデータ) (2022-03-04T05:19:09Z) - Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。
我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。
CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
論文 参考訳(メタデータ) (2021-05-18T15:13:00Z) - Exploring the Limits of Few-Shot Link Prediction in Knowledge Graphs [49.6661602019124]
数発のリンク予測を行うため,本手法の現況を一般化したモデルスペクトルについて検討する。
単純なゼロショットベースライン – 関係性固有の情報を無視する – が驚くほど高いパフォーマンスを実現しているのが分かります。
慎重に構築された合成データセットの実験では、関係の例がいくつかあるだけで、モデルがきめ細かな構造情報を使用するのを基本的に制限することが示されている。
論文 参考訳(メタデータ) (2021-02-05T21:04:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。