論文の概要: Collaborative Chinese Text Recognition with Personalized Federated Learning

• arxiv url: http://arxiv.org/abs/2305.05602v2
• Date: Thu, 31 Aug 2023 05:08:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-01 20:20:36.051945
• Title: Collaborative Chinese Text Recognition with Personalized Federated Learning
• Title（参考訳）: 個人化フェデレーション学習による中国語テキストの協調認識
• Authors: Shangchao Su, Haiyang Yu, Bin Li, Xiangyang Xue
• Abstract要約: 中国語のテキスト認識では、ある組織が類似の組織から大量のデータを収集することがしばしば必要である。 アドレスや電話番号などのテキストデータに個人情報が自然に存在するため、異なる組織はプライベートデータを共有したくない。 中国語テキスト認識タスクにパーソナライズド・フェデレーション・ラーニング(pFL)を導入し,pFedCRアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 61.34060587461462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Chinese text recognition, to compensate for the insufficient local data and improve the performance of local few-shot character recognition, it is often necessary for one organization to collect a large amount of data from similar organizations. However, due to the natural presence of private information in text data, such as addresses and phone numbers, different organizations are unwilling to share private data. Therefore, it becomes increasingly important to design a privacy-preserving collaborative training framework for the Chinese text recognition task. In this paper, we introduce personalized federated learning (pFL) into the Chinese text recognition task and propose the pFedCR algorithm, which significantly improves the model performance of each client (organization) without sharing private data. Specifically, pFedCR comprises two stages: multiple rounds of global model training stage and the the local personalization stage. During stage 1, an attention mechanism is incorporated into the CRNN model to adapt to various client data distributions. Leveraging inherent character data characteristics, a balanced dataset is created on the server to mitigate character imbalance. In the personalization phase, the global model is fine-tuned for one epoch to create a local model. Parameter averaging between local and global models combines personalized and global feature extraction capabilities. Finally, we fine-tune only the attention layers to enhance its focus on local personalized features. The experimental results on three real-world industrial scenario datasets show that the pFedCR algorithm can improve the performance of local personalized models by about 20\% while also improving their generalization performance on other client data domains. Compared to other state-of-the-art personalized federated learning methods, pFedCR improves performance by 6\% $\sim$ 8\%.
• Abstract（参考訳）: 中国語のテキスト認識では、ローカルデータの不足を補い、ローカルな数発文字認識の性能を向上させるためには、類似組織から大量のデータを収集する必要があることが多い。 しかし、住所や電話番号などのテキストデータに個人情報が自然に存在するため、異なる組織はプライベートデータを共有することを望んでいない。 そのため,中国語テキスト認識タスクのためのプライバシー保全型協調学習フレームワークの設計がますます重要になっている。 本稿では、中国語のテキスト認識タスクにパーソナライズされたフェデレーション学習(pFL)を導入し、プライベートデータを共有することなく各クライアント(組織)のモデル性能を大幅に向上させるpFedCRアルゴリズムを提案する。 具体的には、pfedcrはグローバルモデルのトレーニングステージとローカルパーソナライズステージの2つのステージで構成される。 ステージ1では、様々なクライアントデータ分布に対応するために、注意機構をCRNNモデルに組み込む。 固有の文字データ特性を利用して、バランスのとれたデータセットがサーバ上に作成され、文字の不均衡を緩和する。 パーソナライズフェーズでは、グローバルモデルは1つのエポックに対して微調整され、局所モデルを生成する。 ローカルモデルとグローバルモデルのパラメータ平均化は、パーソナライズされた機能とグローバルな機能抽出機能を組み合わせる。 最後に、注意層のみを微調整して、ローカルなパーソナライズ機能に重点を置きます。 3つの実世界の産業シナリオデータセットによる実験結果から,pFedCRアルゴリズムは局所パーソナライズされたモデルの性能を約20 %向上し,他のクライアントデータ領域での一般化性能も向上することが示された。 他の最先端の個人化学習手法と比較して、pFedCRは性能を6\%$\sim$ 8\%改善する。

関連論文リスト

• Personalized Federated Learning via Feature Distribution Adaptation [3.410799378893257]
  Federated Learning(FL)は、分散クライアントデータセット間の共通性を利用してグローバルモデルをトレーニングする分散学習フレームワークである。 パーソナライズド・フェデレーション・ラーニング(PFL)は、各クライアントに適した個々のモデルを学習することで、この問題に対処しようとしている。 我々は,グローバルな生成型分類器を局所的な特徴分布に適応させることで,パーソナライズされたモデルを効率的に生成するアルゴリズム,pFedFDAを提案する。
  論文  参考訳（メタデータ） (2024-11-01T03:03:52Z)
• Learn What You Need in Personalized Federated Learning [53.83081622573734]
  $textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。 我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-16T12:45:15Z)
• FAM: fast adaptive federated meta-learning [10.980548731600116]
  単一グローバルモデルの協調学習のための高速適応型メタラーニング(FAM)フレームワークを提案する。 スケルトンネットワークは各クライアントで成長し、ローカルデータから追加のクライアント固有のパラメータを学習することでパーソナライズされたモデルをトレーニングする。 パーソナライズされたクライアントモデルは、ローカルにトレーニングされたモデルよりも優れ、FAMメカニズムの有効性を実証した。
  論文  参考訳（メタデータ） (2023-08-26T22:54:45Z)
• Personalization Improves Privacy-Accuracy Tradeoffs in Federated Optimization [57.98426940386627]
  局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。 合成および実世界のデータセットに関する実験により理論的結果について述べる。
  論文  参考訳（メタデータ） (2022-02-10T20:44:44Z)
• Personalized Federated Learning through Local Memorization [10.925242558525683]
  フェデレーション学習により、クライアントはデータをローカルに保ちながら、統計的モデルを協調的に学習することができる。 最近のパーソナライズされた学習方法は、他のクライアントで利用可能な知識を活用しながら、各クライアントに対して別々のモデルを訓練する。 本稿では,この手法が最先端手法よりも精度と公平性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-11-17T19:40:07Z)
• Subspace Learning for Personalized Federated Optimization [7.475183117508927]
  本稿では,AIシステムにおけるパーソナライズされた学習の問題に対処する手法を提案する。 提案手法は、パーソナライズされたクライアント評価設定と見当たらないクライアント評価設定の両方において、一貫した利得が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-16T00:03:23Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Decentralised Learning from Independent Multi-Domain Labels for Person Re-Identification [69.29602103582782]
  ディープラーニングは多くのコンピュータビジョンタスクで成功している。 しかし、プライバシー問題に対する意識の高まりは、特に人物の再識別(Re-ID)において、ディープラーニングに新たな課題をもたらす。 我々は,複数のプライバシ保護されたローカルモデル(ローカルクライアント)を同時に学習することにより,汎用的なグローバルモデル(中央サーバ)を構築するための,フェデレート・パーソナライゼーション(FedReID)と呼ばれる新しいパラダイムを提案する。 このクライアントサーバ共同学習プロセスは、プライバシコントロールの下で反復的に実行されるため、分散データを共有したり、収集したりすることなく、分散学習を実現することができる。
  論文  参考訳（メタデータ） (2020-06-07T13:32:33Z)
• Think Locally, Act Globally: Federated Learning with Local and Global Representations [92.68484710504666]
  フェデレートラーニング(Federated Learning)とは、複数のデバイスに分散したプライベートデータ上でモデルをトレーニングする手法である。 本稿では,各デバイス上でコンパクトな局所表現を共同で学習する新しいフェデレーション学習アルゴリズムを提案する。 また、プライバシが鍵となる実世界のモバイルデータから、パーソナライズされた気分予測のタスクを評価する。
  論文  参考訳（メタデータ） (2020-01-06T12:40:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。