Fugu-MT 論文翻訳(概要): Distilling Causal Effect from Miscellaneous Other-Class for Continual Named Entity Recognition

論文の概要: Distilling Causal Effect from Miscellaneous Other-Class for Continual Named Entity Recognition

arxiv url: http://arxiv.org/abs/2210.03980v1
Date: Sat, 8 Oct 2022 09:37:06 GMT
ステータス: 処理完了
システム内更新日: 2022-10-11 14:31:26.334073
Title: Distilling Causal Effect from Miscellaneous Other-Class for Continual Named Entity Recognition
Title（参考訳）: 連続的名前付きエンティティ認識のための多種多様な他クラスによる因果効果の蒸留
Authors: Junhao Zheng, Zhanxian Liang, Haibin Chen, Qianli Ma
Abstract要約: 新しいエンティティタイプと同じ方法で他クラスを学ぶことは、破滅的な忘れを増幅し、大幅なパフォーマンス低下につながる。我々は新しいエンティティタイプと他クラスの両方から因果関係を取得するための統一因果関係フレームワークを提案する。 3つのベンチマークデータセットによる実験結果から,本手法は最先端の手法よりも大きなマージンで優れていることが示された。
参考スコア（独自算出の注目度）: 23.25929285468311
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Continual Learning for Named Entity Recognition (CL-NER) aims to learn a growing number of entity types over time from a stream of data. However, simply learning Other-Class in the same way as new entity types amplifies the catastrophic forgetting and leads to a substantial performance drop. The main cause behind this is that Other-Class samples usually contain old entity types, and the old knowledge in these Other-Class samples is not preserved properly. Thanks to the causal inference, we identify that the forgetting is caused by the missing causal effect from the old data. To this end, we propose a unified causal framework to retrieve the causality from both new entity types and Other-Class. Furthermore, we apply curriculum learning to mitigate the impact of label noise and introduce a self-adaptive weight for balancing the causal effects between new entity types and Other-Class. Experimental results on three benchmark datasets show that our method outperforms the state-of-the-art method by a large margin. Moreover, our method can be combined with the existing state-of-the-art methods to improve the performance in CL-NER
Abstract（参考訳）: CL-NER(Continuous Learning for Named Entity Recognition)は、データストリームから時間とともに多くのエンティティタイプを学ぶことを目的としている。しかし、新しいエンティティタイプと同じ方法でOther-Classを学習するだけで、破滅的な忘れを増幅し、パフォーマンスが大幅に低下する。主な原因は、Other-Classサンプルは通常古いエンティティタイプを含み、これらのOther-Classサンプルの古い知識は適切に保存されていないことである。因果推論により,古いデータからの因果効果の欠如によって,忘れが原因であることが判明する。この目的のために、新しいエンティティタイプと他のクラスの両方から因果関係を取得するための統一因果フレームワークを提案する。さらに,ラベルノイズの影響を軽減するためにカリキュラム学習を適用し,新しいエンティティタイプと他のクラスとの因果効果のバランスをとるための自己適応ウェイトを導入する。 3つのベンチマークデータセットにおける実験結果から,本手法は最先端の手法よりも高いマージンを示した。さらに, CL-NERの性能向上のため, 既存の最先端手法と組み合わせることができる。

関連論文リスト

Balancing the Causal Effects in Class-Incremental Learning [23.35478989162079]
CIL(Class-Incremental Learning)は、汎用人工知能を実現するための実践的で困難な問題である。新たなデータと古いデータの間に不均衡な因果関係があることを示す。本稿では,この問題を緩和するために,CILにおける因果効果(BaCE)のバランスをとることを提案する。
論文参考訳（メタデータ） (2024-02-15T16:30:45Z)
Understanding the Detrimental Class-level Effects of Data Augmentation [63.1733767714073]
最適な平均精度を達成するには、ImageNetで最大20%の個々のクラスの精度を著しく損なうコストがかかる。本稿では,DAがクラスレベルの学習力学とどのように相互作用するかを理解するためのフレームワークを提案する。そこで本研究では, クラス条件拡張戦略により, 負の影響を受けるクラスの性能が向上することを示す。
論文参考訳（メタデータ） (2023-12-07T18:37:43Z)
Continual Named Entity Recognition without Catastrophic Forgetting [37.316700599440935]
我々は,古いエンティティタイプの知識の保持と新しいもの獲得のトレードオフを巧みに回避する,プールド・フィーチャー蒸留損失を導入する。非エンタリティ型のための信頼に基づく疑似ラベルを作成する。バイアス型分布の問題に対処するために,適応的再重み付け型バランス学習手法を提案する。
論文参考訳（メタデータ） (2023-10-23T03:45:30Z)
Class-Incremental Learning using Diffusion Model for Distillation and Replay [5.0977390531431634]
クラス増分学習は、以前学習したクラスを忘れずに、段階的に新しいクラスを学習することを目的としている。本稿では,クラス増分学習のための追加データ源として,事前訓練された安定拡散モデルを提案する。
論文参考訳（メタデータ） (2023-06-30T11:23:49Z)
Learning "O" Helps for Learning More: Handling the Concealed Entity Problem for Class-incremental NER [23.625741716498037]
「ラベルなしエンティティ問題」は「O」と「エンティティ」の間に深刻な混乱をもたらす。我々は「O」におけるエンティティクラスタを適応的に検出するエンティティ対応コントラスト学習手法を提案する。クラスインクリメンタルなNERに対して,より現実的で挑戦的なベンチマークを導入する。
論文参考訳（メタデータ） (2022-10-10T13:26:45Z)
Bridging Non Co-occurrence with Unlabeled In-the-wild Data for Incremental Object Detection [56.22467011292147]
物体検出における破滅的忘れを緩和するために,いくつかの漸進的学習法が提案されている。有効性にもかかわらず、これらの手法は新規クラスのトレーニングデータにラベルのないベースクラスの共起を必要とする。そこで本研究では,新たな授業の訓練において,欠落した基本クラスが原因で生じる非発生を補うために,未ラベルのインザ・ザ・ワイルドデータを使用することを提案する。
論文参考訳（メタデータ） (2021-10-28T10:57:25Z)
Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
論文参考訳（メタデータ） (2021-06-20T17:34:55Z)
Distilling Causal Effect of Data in Class-Incremental Learning [109.680987556265]
CIL(Class-Incremental Learning)における破滅的な忘れ方を説明するための因果的枠組みを提案する。我々は,データ再生や特徴・ラベル蒸留といった既存のアンチフォジット手法を緩和する新しい蒸留法を考案した。
論文参考訳（メタデータ） (2021-03-02T14:14:10Z)
Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
論文参考訳（メタデータ） (2021-01-20T11:48:12Z)
Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。旧知識保存のための重み付きユークリッド正規化を提案する。新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
論文参考訳（メタデータ） (2020-12-15T07:26:04Z)
Long-Tailed Classification by Keeping the Good and Removing the Bad Momentum Causal Effect [95.37587481952487]
長い尾の分類は、大規模なディープラーニングの鍵である。既存の手法は主に、基本的な理論を欠いた再重み付け/再サンプリングに基づいている。本稿では,従来の手法の理由を解明するだけでなく,新たな原理的解を導出する因果推論の枠組みを確立する。
論文参考訳（メタデータ） (2020-09-28T00:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。