論文の概要: Performance Optimization for Federated Person Re-identification via Benchmark Analysis

• arxiv url: http://arxiv.org/abs/2008.11560v2
• Date: Fri, 9 Oct 2020 17:57:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 21:29:35.993110
• Title: Performance Optimization for Federated Person Re-identification via Benchmark Analysis
• Title（参考訳）: ベンチマーク分析によるFederated Person Re-identificationのパフォーマンス最適化
• Authors: Weiming Zhuang, Yonggang Wen, Xuesen Zhang, Xin Gan, Daiying Yin, Dongzhan Zhou, Shuai Zhang, Shuai Yi
• Abstract要約: フェデレーション学習(Federated Learning)は、分散型クライアント間で共有モデルを学習する、プライバシ保護機械学習技術である。 本研究では,人間再同定(FedReID)にフェデレート学習を実装し,実世界のシナリオにおけるその性能を最適化する。
• 参考スコア（独自算出の注目度）: 25.9422385039648
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is a privacy-preserving machine learning technique that learns a shared model across decentralized clients. It can alleviate privacy concerns of personal re-identification, an important computer vision task. In this work, we implement federated learning to person re-identification (FedReID) and optimize its performance affected by statistical heterogeneity in the real-world scenario. We first construct a new benchmark to investigate the performance of FedReID. This benchmark consists of (1) nine datasets with different volumes sourced from different domains to simulate the heterogeneous situation in reality, (2) two federated scenarios, and (3) an enhanced federated algorithm for FedReID. The benchmark analysis shows that the client-edge-cloud architecture, represented by the federated-by-dataset scenario, has better performance than client-server architecture in FedReID. It also reveals the bottlenecks of FedReID under the real-world scenario, including poor performance of large datasets caused by unbalanced weights in model aggregation and challenges in convergence. Then we propose two optimization methods: (1) To address the unbalanced weight problem, we propose a new method to dynamically change the weights according to the scale of model changes in clients in each training round; (2) To facilitate convergence, we adopt knowledge distillation to refine the server model with knowledge generated from client models on a public dataset. Experiment results demonstrate that our strategies can achieve much better convergence with superior performance on all datasets. We believe that our work will inspire the community to further explore the implementation of federated learning on more computer vision tasks in real-world scenarios.
• Abstract（参考訳）: フェデレーション学習(Federated Learning)は、分散型クライアント間で共有モデルを学習する、プライバシ保護機械学習技術である。 これは、コンピュータビジョンの重要なタスクである個人再識別に関するプライバシーの懸念を軽減することができる。 本研究では,人間再同定(FedReID)にフェデレート学習を実装し,実世界のシナリオにおける統計的不均一性の影響を最適化する。 我々は最初にFedReIDの性能を調べるために新しいベンチマークを構築した。 本ベンチマークは,(1)異なる領域から異なるボリュームのデータセットを抽出し,現実の異種状況をシミュレートし,(2)2つのシナリオ,(3)FedReIDの強化されたフェデレーションアルゴリズムからなる。 ベンチマーク分析によれば、フェデレーション・バイ・データセットのシナリオで表されるクライアント-エッジ-クラウドアーキテクチャは、federidのクライアント-サーバアーキテクチャよりも優れたパフォーマンスを示している。 また、モデルアグリゲーションの不均衡による大規模なデータセットのパフォーマンス低下や収束の課題など、現実世界のシナリオにおけるfeedreidのボトルネックも明らかにしている。 次に,(1)不均衡重み問題に対処するために,各トレーニングラウンドにおけるクライアントのモデル変化の規模に応じて動的に重み付けを変更する新しい手法を提案し,(2)収束を容易にするために知識蒸留法を適用し,公開データセット上でクライアントモデルから生成された知識を用いてサーバモデルを洗練する。 実験の結果、我々の戦略は全てのデータセットにおいて優れた性能でより優れた収束を実現することができることが示された。 私たちの研究はコミュニティに、現実のシナリオにおけるより多くのコンピュータビジョンタスクに対するフェデレーション学習の実装をさらに探求するきっかけになると考えています。

関連論文リスト

• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Momentum Benefits Non-IID Federated Learning Simply and Provably [22.800862422479913]
  フェデレートラーニングは大規模機械学習の強力なパラダイムである。 FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。 本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
  論文  参考訳（メタデータ） (2023-06-28T18:52:27Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Optimizing Performance of Federated Person Re-identification: Benchmarking and Analysis [14.545746907150436]
  FedReIDは、新しい分散トレーニング手法であるフェデレーション学習を個人に対して実装する。 FedReIDは、クライアントから中央サーバへ、生のデータではなく、モデル更新を集約することで、データのプライバシを保存する。
  論文  参考訳（メタデータ） (2022-05-24T15:20:32Z)
• Heterogeneous Ensemble Knowledge Transfer for Training Large Models in Federated Learning [22.310090483499035]
  フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。 既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。 本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
  論文  参考訳（メタデータ） (2022-04-27T05:18:32Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• CatFedAvg: Optimising Communication-efficiency and Classification Accuracy in Federated Learning [2.2172881631608456]
  そこで我々はCatFedAvgというフェデレート学習アルゴリズムを新たに導入した。 コミュニケーション効率は向上するが、NIST戦略のカテゴリカバレッジを用いて学習の質を向上させる。 実験の結果,FedAvgよりもネットワーク転送率が70%低いMデータセットでは,10%の絶対点精度が向上していることがわかった。
  論文  参考訳（メタデータ） (2020-11-14T06:52:02Z)
• Federated Residual Learning [53.77128418049985]
  クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。 この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
  論文  参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。