論文の概要: Uncertainty-Based Extensible Codebook for Discrete Federated Learning in Heterogeneous Data Silos

• arxiv url: http://arxiv.org/abs/2402.18888v3
• Date: Sun, 03 Nov 2024 00:56:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:38:11.106506
• Title: Uncertainty-Based Extensible Codebook for Discrete Federated Learning in Heterogeneous Data Silos
• Title（参考訳）: 異種データサイロにおける離散的フェデレート学習のための不確実性に基づく拡張可能コードブック
• Authors: Tianyi Zhang, Yu Cao, Dianbo Liu,
• Abstract要約: フェデレートラーニング(FL)は、大規模な分散データセットを活用することを目的としている。 従来の研究では、離散表現は小さな分布シフトをまたいだモデル一般化を促進するために研究されてきた。 FLから派生したモデルでは,不慣れな分布を持つデータサイロに適用した場合,不確実性が著しく向上することが確認できた。
• 参考スコア（独自算出の注目度）: 11.443755718706562
• License:
• Abstract: Federated learning (FL), aimed at leveraging vast distributed datasets, confronts a crucial challenge: the heterogeneity of data across different silos. While previous studies have explored discrete representations to enhance model generalization across minor distributional shifts, these approaches often struggle to adapt to new data silos with significantly divergent distributions. In response, we have identified that models derived from FL exhibit markedly increased uncertainty when applied to data silos with unfamiliar distributions. Consequently, we propose an innovative yet straightforward iterative framework, termed Uncertainty-Based Extensible-Codebook Federated Learning (UEFL). This framework dynamically maps latent features to trainable discrete vectors, assesses the uncertainty, and specifically extends the discretization dictionary or codebook for silos exhibiting high uncertainty. Our approach aims to simultaneously enhance accuracy and reduce uncertainty by explicitly addressing the diversity of data distributions, all while maintaining minimal computational overhead in environments characterized by heterogeneous data silos. Through experiments conducted on five datasets, our method has demonstrated its superiority, achieving significant improvements in accuracy (by 3%--22.1%) and uncertainty reduction (by 38.83%--96.24%), thereby outperforming contemporary state-of-the-art methods. The source code is available at https://github.com/destiny301/uefl.
• Abstract（参考訳）: 巨大な分散データセットを活用することを目的としたフェデレーション学習(FL)は、さまざまなサイロにまたがるデータの均一性という重要な課題に直面している。 従来の研究では、小さな分布シフトにまたがるモデル一般化を強化するために離散表現を探索してきたが、これらのアプローチは、大きな分散分布を持つ新しいデータサイロへの適応に苦慮することが多い。 その結果,不慣れな分布を持つデータサイロに適用した場合,FL由来のモデルが著しく不確実性を示した。 その結果,不確実性に基づく拡張可能コードブックフェデレートラーニング(UEFL)と呼ばれる,革新的で簡単な反復型フレームワークを提案する。 このフレームワークは遅延特徴をトレーニング可能な離散ベクトルに動的にマッピングし、不確実性を評価し、特に不確実性を示すサイロの離散化辞書やコードブックを拡張する。 本研究の目的は,不均一なデータサイロを特徴とする環境における計算オーバーヘッドを最小限に抑えつつ,データ分布の多様性を明確化することで,精度を同時に向上し,不確実性を低減することである。 5つのデータセットで行った実験により, 精度(3%-22.1%)と不確実性(38.83%-96.24%)が向上し, 現代の最先端手法よりも優れていた。 ソースコードはhttps://github.com/destiny301/uefl.comで入手できる。

関連論文リスト

• Uncertainty Quantification via Hölder Divergence for Multi-View Representation Learning [18.419742575630217]
  本稿では,H"older Divergence (HD)に基づく新しいアルゴリズムを導入し,多視点学習の信頼性を高める。 デンプスター・シェーファー理論を通じて、異なるモダリティからの不確実性の統合により、包括的な結果が生成される。 数学的には、HDは実際のデータ分布とモデルの予測分布の間の距離'をよりよく測定できることを証明している。
  論文  参考訳（メタデータ） (2024-10-29T04:29:44Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Adaptive Negative Evidential Deep Learning for Open-set Semi-supervised Learning [69.81438976273866]
  オープンセット半教師付き学習(Open-set SSL)は、ラベル付きデータ(inliers)で観測されない新しいカテゴリ(outliers)を含むラベル付きデータとテストデータを含む、より実践的なシナリオである。 本研究では,様々な不確かさを定量化するための外乱検出器として顕在的深層学習(EDL)を導入し,自己学習と推論のための異なる不確実性指標を設計する。 Inlierとoutlierの両方を含むラベルなしデータセットに適合するように、新しい適応的負の最適化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-21T09:07:15Z)
• FedGen: Generalizable Federated Learning for Sequential Data [8.784435748969806]
  多くの実世界の分散環境では、バイアスとデータサンプリングの問題により、急激な相関が存在する。 我々はFedGenという汎用的なフェデレーション学習フレームワークを提案し、クライアントが素早い特徴と不変な特徴を識別および識別できるようにする。 FedGenは、より優れた一般化を実現し、現在のフェデレーション学習手法の精度を24%以上上回るモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-03T15:48:14Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Distributionally Robust Learning with Stable Adversarial Training [34.74504615726101]
  経験的リスク最小化を伴う機械学習アルゴリズムは、分散シフトの下で脆弱である。 そこで本稿では,異種データソースを活用して,より実用的な不確実性セットを構築する,SAL(Stable Adversarial Learning)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-30T03:05:45Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Heteroskedastic and Imbalanced Deep Learning with Adaptive Regularization [55.278153228758434]
  実世界のデータセットはヘテロスケダティックで不均衡である。 ヘテロスケダスティック性と不均衡を同時に扱うことは、未発見である。 本稿ではヘテロスケダスティックデータセットに対するデータ依存正規化手法を提案する。
  論文  参考訳（メタデータ） (2020-06-29T01:09:50Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Stable Adversarial Learning under Distributional Shifts [46.98655899839784]
  経験的リスク最小化を伴う機械学習アルゴリズムは、分散シフトの下で脆弱である。 本研究では、異種データソースを活用してより実用的な不確実性セットを構築する安定適応学習(SAL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-08T08:42:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。