Fugu-MT 論文翻訳(概要): Collaborative Learning with Shared Linear Representations: Statistical Rates and Optimal Algorithms

論文の概要: Collaborative Learning with Shared Linear Representations: Statistical Rates and Optimal Algorithms

arxiv url: http://arxiv.org/abs/2409.04919v1
Date: Sat, 7 Sep 2024 21:53:01 GMT
ステータス: 処理完了
システム内更新日: 2024-09-10 20:10:34.433556
Title: Collaborative Learning with Shared Linear Representations: Statistical Rates and Optimal Algorithms
Title（参考訳）: 共有線形表現を用いた協調学習:統計的レートと最適アルゴリズム
Authors: Xiaochun Niu, Lili Su, Jiaming Xu, Pengkun Yang,
Abstract要約: コラボレーション学習により、複数のクライアントがローカルデータ分散間で共有された特徴表現を学習できる。クライアントが共通の低次元線形表現を共有する際の最適統計率を同定する。この結果から,システムレベルでのコラボレーションは,独立したクライアント学習に比べて,サンプリングの複雑さを低減させることがわかった。
参考スコア（独自算出の注目度）: 13.643155483461028
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Collaborative learning enables multiple clients to learn shared feature representations across local data distributions, with the goal of improving model performance and reducing overall sample complexity. While empirical evidence shows the success of collaborative learning, a theoretical understanding of the optimal statistical rate remains lacking, even in linear settings. In this paper, we identify the optimal statistical rate when clients share a common low-dimensional linear representation. Specifically, we design a spectral estimator with local averaging that approximates the optimal solution to the least squares problem. We establish a minimax lower bound to demonstrate that our estimator achieves the optimal error rate. Notably, the optimal rate reveals two distinct phases. In typical cases, our rate matches the standard rate based on the parameter counting of the linear representation. However, a statistical penalty arises in collaborative learning when there are too many clients or when local datasets are relatively small. Furthermore, our results, unlike existing ones, show that, at a system level, collaboration always reduces overall sample complexity compared to independent client learning. In addition, at an individual level, we provide a more precise characterization of when collaboration benefits a client in transfer learning and private fine-tuning.
Abstract（参考訳）: コラボレーション学習により、複数のクライアントがローカルデータディストリビューション間で共有された特徴表現を学習できるようになる。実験的な証拠は、協調学習の成功を示しているが、最適統計率に関する理論的理解は、線形な設定でさえも欠如している。本稿では,クライアントが共通の低次元線形表現を共有する場合の最適統計率について述べる。具体的には、最小二乗問題に対する最適解を近似する局所平均化を用いたスペクトル推定器を設計する。我々は,推定器が最適誤差率を達成することを示すために,ミニマックス下限を確立する。特に、最適速度は2つの異なる位相を示す。典型的には、線形表現のパラメータカウントに基づく標準レートと一致する。しかし、クライアントが多すぎる場合や、ローカルデータセットが比較的小さい場合には、統計的ペナルティが発生する。さらに、既存のものとは異なり、システムレベルでは、コラボレーションは、独立したクライアント学習に比べて、全体的なサンプルの複雑さを減らします。さらに、個人レベルでは、移行学習や個人ファインチューニングにおいて、クライアントがいつコラボレーションに恩恵を受けるかをより正確に評価する。

関連論文リスト

Fine-Tuning Personalization in Federated Learning to Mitigate Adversarial Clients [8.773068878015856]
フェデレートラーニング(Federated Learning, FL)とは、複数のマシン(例えばクライアント)がデータをローカルに保持しながら一元的に学習できるようにする、魅力的なパラダイムである。我々は、一部のクライアントが敵対できるFL設定を検討し、完全なコラボレーションが失敗する条件を導出する。
論文参考訳（メタデータ） (2024-09-30T14:31:19Z)
How to Collaborate: Towards Maximizing the Generalization Performance in Cross-Silo Federated Learning [12.86056968708516]
フェデレートクラスタリング(FL)は、プライバシを保存する分散学習フレームワークとして、鮮明な注目を集めている。本研究では、クライアントがFLデータの後、モデルオーナーとなるクロスサイロFLに焦点を当てる。我々は、より多くのトレーニングデータを持つ他のクライアントと協調することで、クライアントのパフォーマンスを改善できると定式化します。
論文参考訳（メタデータ） (2024-01-24T05:41:34Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文参考訳（メタデータ） (2023-06-25T13:38:51Z)
FilFL: Client Filtering for Optimized Client Participation in Federated Learning [71.46173076298957]
フェデレートラーニングは、クライアントがローカルデータを交換することなく、協調的にモデルをトレーニングすることを可能にする。トレーニングプロセスに参加するクライアントは、収束率、学習効率、モデル一般化に大きな影響を与えます。本稿では,モデル一般化を改善し,クライアント参加とトレーニングを最適化する新しい手法であるクライアントフィルタリングを提案する。
論文参考訳（メタデータ） (2023-02-13T18:55:31Z)
When to Trust Aggregated Gradients: Addressing Negative Client Sampling in Federated Learning [41.51682329500003]
本稿では,各ラウンドにおける集約勾配に対するサーバ学習率を調整するための新しい学習率適応機構を提案する。我々は、最適なサーバ学習率に肯定的な有意義で堅牢な指標を見つけるために、理論的な推論を行う。
論文参考訳（メタデータ） (2023-01-25T03:52:45Z)
Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文参考訳（メタデータ） (2022-06-05T01:14:46Z)
Multitask Learning and Bandits via Robust Statistics [3.103098467546532]
意思決定者は、しばしば多くの関連するが不均一な学習問題に直面している。本稿では,この構造をサンプル効率良く活用する2段階マルチタスク学習推定器を提案する。我々の推定器は、一般的な失業推定器と比較して、特徴次元$d$のサンプル複雑性境界を改善した。
論文参考訳（メタデータ） (2021-12-28T17:37:08Z)
Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文参考訳（メタデータ） (2021-02-14T05:36:25Z)
Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文参考訳（メタデータ） (2020-12-28T19:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。