論文の概要: Federated Incremental Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2411.11623v1
• Date: Mon, 18 Nov 2024 14:53:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:33:50.040168
• Title: Federated Incremental Named Entity Recognition
• Title（参考訳）: Federated Incremental Named Entity Recognition
• Authors: Duzhen Zhang, Yahan Yu, Chenxing Li, Jiahua Dong, Dong Yu,
• Abstract要約: フェデレートされた名前付きエンティティ認識(FNER)は、プライベートデータを共有することなく、分散化されたローカルクライアントのモデル更新を集約することで、各ローカルクライアント内のモデルトレーニングを促進する。 既存のFNERメソッドは、固定されたエンティティタイプとローカルクライアントを事前に仮定する。 本稿では,これらの課題を克服するローカル・グローバル・フォーッティング・ディフェンス(LGFD)モデルを提案する。
• 参考スコア（独自算出の注目度）: 38.49410747627772
• License:
• Abstract: Federated Named Entity Recognition (FNER) boosts model training within each local client by aggregating the model updates of decentralized local clients, without sharing their private data. However, existing FNER methods assume fixed entity types and local clients in advance, leading to their ineffectiveness in practical applications. In a more realistic scenario, local clients receive new entity types continuously, while new local clients collecting novel data may irregularly join the global FNER training. This challenging setup, referred to here as Federated Incremental NER, renders the global model suffering from heterogeneous forgetting of old entity types from both intra-client and inter-client perspectives. To overcome these challenges, we propose a Local-Global Forgetting Defense (LGFD) model. Specifically, to address intra-client forgetting, we develop a structural knowledge distillation loss to retain the latent space's feature structure and a pseudo-label-guided inter-type contrastive loss to enhance discriminative capability over different entity types, effectively preserving previously learned knowledge within local clients. To tackle inter-client forgetting, we propose a task switching monitor that can automatically identify new entity types under privacy protection and store the latest old global model for knowledge distillation and pseudo-labeling. Experiments demonstrate significant improvement of our LGFD model over comparison methods.
• Abstract（参考訳）: Federated Named Entity Recognition (FNER)は、プライベートデータを共有することなく、分散化されたローカルクライアントのモデル更新を集約することで、各ローカルクライアント内のモデルトレーニングを促進する。 しかし、既存のFNER法では、固定されたエンティティタイプとローカルクライアントが事前に仮定されているため、実用上は非効率である。 より現実的なシナリオでは、ローカルクライアントは、新しいエンティティタイプを継続的に受け取り、新しいデータを集めるローカルクライアントは、グローバルなFNERトレーニングに不規則に参加する可能性がある。 この挑戦的なセットアップは、Federated Incremental NERと呼ばれ、クライアント内とクライアント間の両方の観点から、古いエンティティタイプを異質に忘れることに苦しむグローバルモデルを表現します。 これらの課題を克服するために,我々はローカル・グローバル・フォーッティング・ディフェンス(LGFD)モデルを提案する。 具体的には,潜在空間の特徴構造を保持するための構造的知識蒸留損失と,異なるエンティティタイプに対する識別能力を高めるための擬似ラベル誘導型コントラスト損失を開発し,ローカルクライアント内で学習した知識を効果的に保存する。 そこで本研究では,プライバシ保護下での新たなエンティティタイプを自動的に識別し,知識蒸留と擬似ラベル作成のための最新のグローバルモデルを保存するタスク切替モニタを提案する。 実験により比較法よりもLGFDモデルの大幅な改善が示された。

関連論文リスト

• Overcoming Data and Model Heterogeneities in Decentralized Federated Learning via Synthetic Anchors [21.931436901703634]
  従来のフェデレートラーニング(FL)には、ユーザデータのプライバシを維持しながら、グローバルモデルの協調的なトレーニングが含まれる。 そのブランチの1つ、分散FLは、クライアントが別々のローカルモデルを所有し、最適化できるサーバーレスネットワークである。 本稿では,DeSAと呼ばれる合成アンカーを導入し,新しい分散FL手法を提案する。
  論文  参考訳（メタデータ） (2024-05-19T11:36:45Z)
• FedAL: Black-Box Federated Knowledge Distillation Enabled by Adversarial Learning [10.118046070458488]
  本稿では,クライアント間のデータ不均一性に対処するために,Adversarial Learning (FedAL) によって実現されたフェデレーション知識蒸留を提案する。 まず、データ不均一性に起因するクライアント間のローカルモデル出力のばらつきを軽減するために、サーバはクライアントのローカルモデルトレーニングをガイドする識別器として機能する。 ローカルトレーニングとグローバルナレッジ移行の両面において,従来よりも少ない正規化を設計し,クライアントの知識を他者へ/あるいは他者へ転送/学習する能力を保証する。
  論文  参考訳（メタデータ） (2023-11-28T08:01:43Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Adaptive Self-Distillation for Minimizing Client Drift in Heterogeneous Federated Learning [9.975023463908496]
  Federated Learning(FL)は、クライアントがローカルトレーニングデータを共有せずに、局所的にトレーニングされたモデルを集約することで、グローバルモデルの共同トレーニングを可能にする機械学習パラダイムである。 本稿では,適応自己蒸留(ASD)に基づく新たな正規化手法を提案する。 我々の正規化方式は,グローバルモデルエントロピーとクライアントのラベル分布に基づいて,クライアントのトレーニングデータに適応的に適応的に適応する。
  論文  参考訳（メタデータ） (2023-05-31T07:00:42Z)
• No One Left Behind: Real-World Federated Class-Incremental Learning [111.77681016996202]
  ローカル・グローバル・アンチ・フォーゲッティング(LGA)モデルは、局所的およびグローバルな破滅的な忘れに対処する。 本研究は,カテゴリ均衡型勾配適応型補償損失とカテゴリ勾配誘導型セマンティック蒸留損失を開発する。 ローカルクライアントから収集した新しいカテゴリの摂動型プロトタイプイメージを、自己監督型プロトタイプ拡張を通じて拡張する。
  論文  参考訳（メタデータ） (2023-02-02T06:41:02Z)
• FRAug: Tackling Federated Learning with Non-IID Features via Representation Augmentation [31.12851987342467]
  Federated Learning(FL)は、複数のクライアントが協調してディープラーニングモデルをトレーニングする分散学習パラダイムである。 本稿では,FRAug(Federated Representation Augmentation)を提案する。 当社のアプローチでは,通常は小さなクライアントデータセットを増大させるために,埋め込み空間にクライアント固有の合成サンプルを生成する。
  論文  参考訳（メタデータ） (2022-05-30T07:43:42Z)
• FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction [48.85303253333453]
  フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。 局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。 私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。 実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
  論文  参考訳（メタデータ） (2022-03-22T14:06:26Z)
• Federated and Generalized Person Re-identification through Domain and Feature Hallucinating [88.77196261300699]
  人物再識別(re-ID)におけるフェデレーションドメイン一般化(FedDG)の問題について検討する。 一般化された局所的・グローバルなモデルを学ぶための多様な特徴を創出する手法として,DFH (Domain and Feature Hallucinating) を提案する。 提案手法は4つの大規模re-IDベンチマークにおいてFedDGの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-05T09:15:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。