Fugu-MT 論文翻訳(概要): Federated Named Entity Recognition

論文の概要: Federated Named Entity Recognition

arxiv url: http://arxiv.org/abs/2203.15101v1
Date: Mon, 28 Mar 2022 21:14:49 GMT
ステータス: 処理完了
システム内更新日: 2022-03-31 11:20:16.732168
Title: Federated Named Entity Recognition
Title（参考訳）: フェデレートされた名前付きエンティティ認識
Authors: Joel Mathew, Dimitris Stripelis, Jos\'e Luis Ambite
Abstract要約: パラダイム的自然言語処理タスクにおけるフェデレート学習の性能分析:NER(named-Entity Recognition)について述べる。評価では,言語に依存しないCoNLL-2003データセットをベンチマークデータセットとし,ベンチマークNERモデルとしてBi-LSTM-CRFモデルを用いた。フェデレーショントレーニングは集中型モデルとほぼ同等の性能を示すが,学習環境がさらに異質になるにつれて性能が低下する。
参考スコア（独自算出の注目度）: 1.2977151652608048
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present an analysis of the performance of Federated Learning in a paradigmatic natural-language processing task: Named-Entity Recognition (NER). For our evaluation, we use the language-independent CoNLL-2003 dataset as our benchmark dataset and a Bi-LSTM-CRF model as our benchmark NER model. We show that federated training reaches almost the same performance as the centralized model, though with some performance degradation as the learning environments become more heterogeneous. We also show the convergence rate of federated models for NER. Finally, we discuss existing challenges of Federated Learning for NLP applications that can foster future research directions.
Abstract（参考訳）: 本稿では,自然言語処理タスクであるnamed-entity recognition (ner) におけるフェデレーション学習の性能分析を行う。評価では,言語に依存しないCoNLL-2003データセットをベンチマークデータセットとし,ベンチマークNERモデルとしてBi-LSTM-CRFモデルを用いた。フェデレーショントレーニングは集中型モデルとほぼ同等の性能を示すが,学習環境がさらに異質になるにつれて性能が低下する。また,NERに対するフェデレーションモデルの収束率を示す。最後に,今後の研究方向性を育むnlpアプリケーションにおける連合学習の課題について述べる。

関連論文リスト

Hybrid Multi-stage Decoding for Few-shot NER with Entity-aware Contrastive Learning [32.62763647036567]
名前付きエンティティ認識は、ラベル付けされたいくつかの例に基づいて、新しいタイプの名前付きエンティティを識別できる。 MsFNER(Entity-Aware Contrastive Learning)を用いたFew-shot NERのためのハイブリッド多段復号法を提案する。 MsFNERは一般的なNERを、エンティティスパン検出とエンティティ分類の2つのステージに分割する。
論文参考訳（メタデータ） (2024-04-10T12:31:09Z)
In-Context Learning for Few-Shot Nested Named Entity Recognition [53.55310639969833]
数発のネストネストNERの設定に有効で革新的なICLフレームワークを導入する。我々は、新しい実演選択機構であるEnDe retrieverを考案し、ICLプロンプトを改善する。 EnDe検索では,意味的類似性,境界類似性,ラベル類似性という3種類の表現学習を行うために,コントラスト学習を用いる。
論文参考訳（メタデータ） (2024-02-02T06:57:53Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Every Parameter Matters: Ensuring the Convergence of Federated Learning with Dynamic Heterogeneous Models Reduction [22.567754688492414]
クロスデバイス・フェデレーション・ラーニング(FL)は、ユニークなコントリビューションを行う可能性のあるローエンドのクライアントが、リソースのボトルネックのため、大規模なモデルのトレーニングから除外されるという、大きな課題に直面します。近年,グローバルモデルから縮小サイズのモデルを抽出し,それに応じてローカルクライアントに適用することによって,モデル不均一FLに焦点を当てている。本稿では,オンラインモデル抽出を用いた不均一FLアルゴリズムの一元化フレームワークを提案し,一般収束解析を初めて提供する。
論文参考訳（メタデータ） (2023-10-12T19:07:58Z)
UNIDEAL: Curriculum Knowledge Distillation Federated Learning [17.817181326740698]
フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする、有望なアプローチとして登場した。本稿では,ドメイン横断シナリオの課題に対処するための新しいFLアルゴリズムであるUNIを提案する。この結果から,UNIはモデル精度と通信効率の両面において優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2023-09-16T11:30:29Z)
Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
論文参考訳（メタデータ） (2022-05-22T16:37:53Z)
DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。上記の2つの課題を同時に解決するための一般的な枠組みを提案する。我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文参考訳（メタデータ） (2022-04-16T08:08:29Z)
RockNER: A Simple Method to Create Adversarial Examples for Evaluating the Robustness of Named Entity Recognition Models [32.806292167848156]
名前付きエンティティ認識モデルのロバスト性を評価するためにRockNERを提案する。ターゲットエンティティを、Wikidataの同じセマンティッククラスの他のエンティティに置き換える。文脈レベルでは、事前訓練された言語モデルを用いて単語置換を生成する。
論文参考訳（メタデータ） (2021-09-12T21:30:21Z)
Federated Residual Learning [53.77128418049985]
クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
論文参考訳（メタデータ） (2020-03-28T19:55:24Z)
Adaptive Name Entity Recognition under Highly Unbalanced Data [5.575448433529451]
我々は,2方向LSTM (BI-LSTM) 上に積み重ねた条件付きランダムフィールド (CRF) 層からなるニューラルアーキテクチャについて実験を行った。 WeakクラスとStrongクラスを2つの異なるセットに分割し、各セットのパフォーマンスを最適化するために2つのBi-LSTM-CRFモデルを適切に設計するアドオン分類モデルを提案する。
論文参考訳（メタデータ） (2020-03-10T06:56:52Z)
Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
論文参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。