論文の概要: Hierarchical Bayes Approach to Personalized Federated Unsupervised Learning

• arxiv url: http://arxiv.org/abs/2402.12537v2
• Date: Sun, 25 Feb 2024 20:32:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 23:51:23.823148
• Title: Hierarchical Bayes Approach to Personalized Federated Unsupervised Learning
• Title（参考訳）: 階層的ベイズアプローチによる教師なし学習の個人化
• Authors: Kaan Ozkara, Bruce Huang, Ruida Zhou, Suhas Diggavi
• Abstract要約: 階層型ベイズ統計フレームワークに着想を得た最適化基準に基づくアルゴリズムを開発する。 我々は,限られたローカルデータと協調情報とのバランスを検出する適応アルゴリズムを開発した。 提案アルゴリズムを合成データと実データを用いて評価し、パーソナライズされたタスクに対する効果的なサンプル増幅を実証した。
• 参考スコア（独自算出の注目度）: 7.8583640700306585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Statistical heterogeneity of clients' local data is an important characteristic in federated learning, motivating personalized algorithms tailored to the local data statistics. Though there has been a plethora of algorithms proposed for personalized supervised learning, discovering the structure of local data through personalized unsupervised learning is less explored. We initiate a systematic study of such personalized unsupervised learning by developing algorithms based on optimization criteria inspired by a hierarchical Bayesian statistical framework. We develop adaptive algorithms that discover the balance between using limited local data and collaborative information. We do this in the context of two unsupervised learning tasks: personalized dimensionality reduction and personalized diffusion models. We develop convergence analyses for our adaptive algorithms which illustrate the dependence on problem parameters (e.g., heterogeneity, local sample size). We also develop a theoretical framework for personalized diffusion models, which shows the benefits of collaboration even under heterogeneity. We finally evaluate our proposed algorithms using synthetic and real data, demonstrating the effective sample amplification for personalized tasks, induced through collaboration, despite data heterogeneity.
• Abstract（参考訳）: クライアントのローカルデータの統計的不均一性は、ローカルデータ統計に合わせたパーソナライズされたアルゴリズムを動機付け、フェデレーション学習において重要な特徴である。 パーソナライズされた教師なし学習には多数のアルゴリズムが提案されているが、パーソナライズされた教師なし学習によるローカルデータの構造の発見は少ない。 階層的ベイズ統計枠組みに触発された最適化基準に基づくアルゴリズムの開発により,このようなパーソナライズされた教師なし学習を体系的に研究する。 限られたローカルデータと協調情報とのバランスを検出する適応アルゴリズムを開発した。 私たちは、教師なしの2つの学習タスクの文脈でこれを行う: 個人化された次元の削減とパーソナライズされた拡散モデル。 問題パラメータ(例えば、異種性、局所サンプルサイズ)への依存性を説明する適応アルゴリズムの収束解析法を開発した。 また,均質性の下でも協調の利点を示す,個人化拡散モデルのための理論的枠組みを構築した。 最後に,提案手法を合成および実データを用いて評価し,データの不均一性に拘わらず,協調によって引き起こされるパーソナライズタスクの効果的なサンプル増幅を示す。

関連論文リスト

• Decentralized Personalized Federated Learning [4.5836393132815045]
  私たちは、パーソナライズされたモデルのトレーニングに適したコラボレータを選択する際に、各クライアントをガイドするコラボレーショングラフの作成に重点を置いています。 従来の手法とは違って,クライアントの欲求関係を考慮し,より粒度の細かい共同作業者を特定する。 これを実現するために,制約付きアルゴリズムを用いた二段階最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-10T17:58:48Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Fed-QSSL: A Framework for Personalized Federated Learning under Bitwidth and Data Heterogeneity [14.313847382199059]
  Fed-QSSL (Federated Quantization-based self-supervised learning scheme) はFLシステムの不均一性に対処するために設計された。 Fed-QSSLは、デ量子化、重み付けされたアグリゲーション、再量子化をデプロイし、最終的に、各クライアントのデバイスのデータ分散と特定のインフラストラクチャの両方にパーソナライズされたモデルを作成する。
  論文  参考訳（メタデータ） (2023-12-20T19:11:19Z)
• Distributed Personalized Empirical Risk Minimization [19.087524494290676]
  本稿では、異種データからの学習を容易にするために、新たなパラダイムであるPersonalized Empirical Risk Minimization(PERM)を提案する。 本稿では,標準モデル平均化をモデルシャッフルに置き換えた分散アルゴリズムを提案し,すべてのデバイスに対してPERM目標を同時に最適化する。
  論文  参考訳（メタデータ） (2023-10-26T20:07:33Z)
• Algorithmic Collective Action in Machine Learning [28.748367295360115]
  機械学習アルゴリズムをデプロイするデジタルプラットフォーム上でのアルゴリズム集合行動について研究する。 本稿では,企業の学習アルゴリズムと相互作用する集合の単純な理論的モデルを提案する。 我々は,フリーランサーのためのギグプラットフォームから数万の履歴書を含むスキル分類タスクについて,体系的な実験を行った。
  論文  参考訳（メタデータ） (2023-02-08T18:55:49Z)
• A Generative Framework for Personalized Learning and Estimation: Theory, Algorithms, and Privacy [10.27527187262914]
  我々は、いくつかの異なるアルゴリズムを統一し、新しいアルゴリズムを提案することができる生成フレームワークを開発した。 次に、生成フレームワークを学習に使用し、既知のパーソナライズされたFLアルゴリズムを統一し、新しいFLアルゴリズムを提案する。 また、ユーザレベルのプライバシーと構成を保証するパーソナライズされた学習手法のプライバシも開発している。
  論文  参考訳（メタデータ） (2022-07-05T02:18:44Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Personalization Improves Privacy-Accuracy Tradeoffs in Federated Optimization [57.98426940386627]
  局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。 合成および実世界のデータセットに関する実験により理論的結果について述べる。
  論文  参考訳（メタデータ） (2022-02-10T20:44:44Z)
• A Field Guide to Federated Optimization [161.3779046812383]
  フェデレートされた学習と分析は、分散化されたデータからモデル(あるいは統計)を協調的に学習するための分散アプローチである。 本稿では、フェデレート最適化アルゴリズムの定式化、設計、評価、分析に関する勧告とガイドラインを提供する。
  論文  参考訳（メタデータ） (2021-07-14T18:09:08Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。