Fugu-MT 論文翻訳(概要): Serial Contrastive Knowledge Distillation for Continual Few-shot Relation Extraction

論文の概要: Serial Contrastive Knowledge Distillation for Continual Few-shot Relation Extraction

arxiv url: http://arxiv.org/abs/2305.06616v1
Date: Thu, 11 May 2023 07:25:47 GMT
ステータス: 処理完了
システム内更新日: 2023-05-12 15:38:04.846870
Title: Serial Contrastive Knowledge Distillation for Continual Few-shot Relation Extraction
Title（参考訳）: 連続Few-shot関係抽出のためのシリアルコントラスト知識蒸留
Authors: Xinyi Wang and Zitao Wang and Wei Hu
Abstract要約: 本稿では,連続的な数発のREタスクを実現するために,SCKDという新しいモデルを提案する。具体的には,従来のモデルからの知識を保存するために,シリアル知識蒸留を設計する。 SCKDの有効性を2つのベンチマーク・データセットで検証した。
参考スコア（独自算出の注目度）: 35.79570854392989
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Continual few-shot relation extraction (RE) aims to continuously train a model for new relations with few labeled training data, of which the major challenges are the catastrophic forgetting of old relations and the overfitting caused by data sparsity. In this paper, we propose a new model, namely SCKD, to accomplish the continual few-shot RE task. Specifically, we design serial knowledge distillation to preserve the prior knowledge from previous models and conduct contrastive learning with pseudo samples to keep the representations of samples in different relations sufficiently distinguishable. Our experiments on two benchmark datasets validate the effectiveness of SCKD for continual few-shot RE and its superiority in knowledge transfer and memory utilization over state-of-the-art models.
Abstract（参考訳）: 連続的数ショット関係抽出(RE)は、ラベル付きトレーニングデータはほとんどなく、新しい関係のモデルを継続的に訓練することを目的としており、その主な課題は、古い関係の破滅的な忘れ、データ疎結合による過度な適合である。本稿では,連続的なREタスクを実現するために,SCKDと呼ばれる新しいモデルを提案する。具体的には,従来のモデルからの知識を保存し,擬似サンプルと対比学習を行い,異なる関係のサンプルの表現を十分に区別できるようにシリアル知識蒸留を設計する。 2つのベンチマークデータセットを用いた実験により,SCKDの連続的数ショットREの有効性と,その知識伝達およびメモリ利用における優位性について検証した。

関連論文リスト

PairCFR: Enhancing Model Training on Paired Counterfactually Augmented Data through Contrastive Learning [49.60634126342945]
Counterfactually Augmented Data (CAD)は、既存のデータサンプルのラベルを他のクラスに戻すのに、最小限かつ十分な修正を適用することで、新しいデータサンプルを作成する。近年の研究では、CADを用いたトレーニングが、他の重要な文脈情報を無視しながら、モデルが修正機能に過度にフォーカスする可能性があることが示されている。我々は、対実的手がかりの学習に加えて、グローバルな特徴アライメントを促進するために、対照的な学習を採用する。
論文参考訳（メタデータ） (2024-06-09T07:29:55Z)
Contrastive Continual Learning with Importance Sampling and Prototype-Instance Relation Distillation [14.25441464051506]
本稿では,従来のデータ分布を復元し,知識の保存を目的としたコントラスト連続学習(Contrastive Continual Learning via Importance Smpling, CCLIS)を提案する。また,プロトタイプとサンプル表現の関係を維持する技術であるPRD(Prototype-instance Relation Distillation)の損失について述べる。
論文参考訳（メタデータ） (2024-03-07T15:47:52Z)
Learning to Maximize Mutual Information for Chain-of-Thought Distillation [13.660167848386806]
Distilling Step-by-Step(DSS)は、より大きなモデルよりも優れた推論能力を持つ小さなモデルを投入することで、約束を証明している。しかし、DSSは2つのトレーニングタスクの本質的な関係を見落とし、CoT知識とラベル予測のタスクの非効率な統合につながる。学習に基づく手法を用いて,この問題を解決するための変分手法を提案する。
論文参考訳（メタデータ） (2024-03-05T22:21:45Z)
Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
論文参考訳（メタデータ） (2023-10-03T17:37:52Z)
Improving Continual Relation Extraction by Distinguishing Analogous Semantics [11.420578494453343]
連続的関係抽出は、学習した関係を忘れずに、絶えず出現する関係を学習することを目的としている。既存のワークには、忘れを緩和するためにモデルをトレーニングするために、少数の典型的なサンプルが格納されている。我々は既存の作品について実証的研究を行い、それらの業績が類似関係に強く影響されていることを観察する。
論文参考訳（メタデータ） (2023-05-11T07:32:20Z)
How to Train Your DRAGON: Diverse Augmentation Towards Generalizable Dense Retrieval [80.54532535622988]
教師付き検索とゼロショット検索の両方において高い精度を達成するために、一般化可能な高密度検索を訓練できることが示される。多様な拡張で訓練された高密度レトリバーであるDRAGONは、教師付きおよびゼロショット評価の両方において最先端の有効性を実現する最初のBERTベースサイズのDRである。
論文参考訳（メタデータ） (2023-02-15T03:53:26Z)
Consistent Representation Learning for Continual Relation Extraction [18.694012937149495]
関係埋め込みの安定性を維持する一貫した表現学習法を提案する。我々の手法は最先端のベースラインを著しく上回り、不均衡なデータセットに強い堅牢性をもたらす。
論文参考訳（メタデータ） (2022-03-05T12:16:34Z)
Continual Few-shot Relation Learning via Embedding Space Regularization and Data Augmentation [4.111899441919165]
従来のタスク知識の破滅的な忘れを回避しつつ,ラベル付きデータが少ない新しい関係パターンを学習する必要がある。埋め込み空間の正規化とデータ拡張に基づく新しい手法を提案する。提案手法は,新たな数発タスクに一般化し,リレーショナル埋め込みに対する追加制約を課し,自己管理的なデータ追加を行うことにより,過去のタスクの破滅的な忘れを回避している。
論文参考訳（メタデータ） (2022-03-04T05:19:09Z)
Exploring the Limits of Few-Shot Link Prediction in Knowledge Graphs [49.6661602019124]
数発のリンク予測を行うため,本手法の現況を一般化したモデルスペクトルについて検討する。単純なゼロショットベースライン – 関係性固有の情報を無視する – が驚くほど高いパフォーマンスを実現しているのが分かります。慎重に構築された合成データセットの実験では、関係の例がいくつかあるだけで、モデルがきめ細かな構造情報を使用するのを基本的に制限することが示されている。
論文参考訳（メタデータ） (2021-02-05T21:04:31Z)
Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文参考訳（メタデータ） (2020-10-25T18:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。