論文の概要: Collaborative Learning with Shared Linear Representations: Statistical Rates and Optimal Algorithms

• arxiv url: http://arxiv.org/abs/2409.04919v1
• Date: Sat, 7 Sep 2024 21:53:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-09-10 20:10:34.433556
• Title: Collaborative Learning with Shared Linear Representations: Statistical Rates and Optimal Algorithms
• Title（参考訳）: 共有線形表現を用いた協調学習:統計的レートと最適アルゴリズム
• Authors: Xiaochun Niu, Lili Su, Jiaming Xu, Pengkun Yang,
• Abstract要約: コラボレーション学習により、複数のクライアントがローカルデータ分散間で共有された特徴表現を学習できる。 クライアントが共通の低次元線形表現を共有する際の最適統計率を同定する。 この結果から,システムレベルでのコラボレーションは,独立したクライアント学習に比べて,サンプリングの複雑さを低減させることがわかった。
• 参考スコア（独自算出の注目度）: 13.643155483461028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Collaborative learning enables multiple clients to learn shared feature representations across local data distributions, with the goal of improving model performance and reducing overall sample complexity. While empirical evidence shows the success of collaborative learning, a theoretical understanding of the optimal statistical rate remains lacking, even in linear settings. In this paper, we identify the optimal statistical rate when clients share a common low-dimensional linear representation. Specifically, we design a spectral estimator with local averaging that approximates the optimal solution to the least squares problem. We establish a minimax lower bound to demonstrate that our estimator achieves the optimal error rate. Notably, the optimal rate reveals two distinct phases. In typical cases, our rate matches the standard rate based on the parameter counting of the linear representation. However, a statistical penalty arises in collaborative learning when there are too many clients or when local datasets are relatively small. Furthermore, our results, unlike existing ones, show that, at a system level, collaboration always reduces overall sample complexity compared to independent client learning. In addition, at an individual level, we provide a more precise characterization of when collaboration benefits a client in transfer learning and private fine-tuning.
• Abstract（参考訳）: コラボレーション学習により、複数のクライアントがローカルデータディストリビューション間で共有された特徴表現を学習できるようになる。 実験的な証拠は、協調学習の成功を示しているが、最適統計率に関する理論的理解は、線形な設定でさえも欠如している。 本稿では,クライアントが共通の低次元線形表現を共有する場合の最適統計率について述べる。 具体的には、最小二乗問題に対する最適解を近似する局所平均化を用いたスペクトル推定器を設計する。 我々は,推定器が最適誤差率を達成することを示すために,ミニマックス下限を確立する。 特に、最適速度は2つの異なる位相を示す。 典型的には、線形表現のパラメータカウントに基づく標準レートと一致する。 しかし、クライアントが多すぎる場合や、ローカルデータセットが比較的小さい場合には、統計的ペナルティが発生する。 さらに、既存のものとは異なり、システムレベルでは、コラボレーションは、独立したクライアント学習に比べて、全体的なサンプルの複雑さを減らします。 さらに、個人レベルでは、移行学習や個人ファインチューニングにおいて、クライアントがいつコラボレーションに恩恵を受けるかをより正確に評価する。

関連論文リスト

• Learning a Class of Mixed Linear Regressions: Global Convergence under General Data Conditions [1.9295130374196499]
  線形回帰モデル(MLR)は線形回帰モデル(英語版)の混合を利用して非線形関係における理論的および実践的重要性から注目されている。 このようなシステムの学習問題に多大な努力が注がれているが、既存のほとんどの調査では、厳密な独立性と同一に分散された(d.d.)あるいは分散PE条件が課されている。
  論文  参考訳（メタデータ） (2025-03-24T09:57:39Z)
• Heterogeneity Matters even More in Distributed Learning: Study from Generalization Perspective [14.480713752871523]
  (K)クライアントは、潜在的に異なるデータ分布に応じて、それぞれ(n)のトレーニングサンプルを独立して生成する。 集約されたモデルの一般化誤差に及ぼすクライアントのデータ分布の相違の影響について検討する。 クライアント間のデータの均一性の度合いが高くなるにつれて、バウンダリが小さくなることが示されている。
  論文  参考訳（メタデータ） (2025-03-03T14:33:38Z)
• High-dimensional logistic regression with missing data: Imputation, regularization, and universality [7.167672851569787]
  我々は高次元リッジ規則化ロジスティック回帰について検討する。 予測誤差と推定誤差の両方を正確に評価する。
  論文  参考訳（メタデータ） (2024-10-01T21:41:21Z)
• Fine-Tuning Personalization in Federated Learning to Mitigate Adversarial Clients [8.773068878015856]
  フェデレートラーニング(Federated Learning, FL)とは、複数のマシン(例えばクライアント)がデータをローカルに保持しながら一元的に学習できるようにする、魅力的なパラダイムである。 我々は、一部のクライアントが敵対できるFL設定を検討し、完全なコラボレーションが失敗する条件を導出する。
  論文  参考訳（メタデータ） (2024-09-30T14:31:19Z)
• Generalization error of min-norm interpolators in transfer learning [2.7309692684728617]
  最小ノルム補間器は、現代の機械学習アルゴリズムの暗黙の正規化限界として自然に現れる。 多くのアプリケーションでは、トレーニング中に限られた量のテストデータが利用できるが、この設定におけるmin-normの特性は十分に理解されていない。 我々はこれらの特徴を達成するために、新しい異方性局所法を確立した。
  論文  参考訳（メタデータ） (2024-06-20T02:23:28Z)
• How to Collaborate: Towards Maximizing the Generalization Performance in Cross-Silo Federated Learning [12.86056968708516]
  フェデレートクラスタリング(FL)は、プライバシを保存する分散学習フレームワークとして、鮮明な注目を集めている。 本研究では、クライアントがFLデータの後、モデルオーナーとなるクロスサイロFLに焦点を当てる。 我々は、より多くのトレーニングデータを持つ他のクライアントと協調することで、クライアントのパフォーマンスを改善できると定式化します。
  論文  参考訳（メタデータ） (2024-01-24T05:41:34Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
  フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。 既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。 フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
  論文  参考訳（メタデータ） (2023-06-25T13:38:51Z)
• FilFL: Client Filtering for Optimized Client Participation in Federated Learning [71.46173076298957]
  フェデレートラーニングは、クライアントがローカルデータを交換することなく、協調的にモデルをトレーニングすることを可能にする。 トレーニングプロセスに参加するクライアントは、収束率、学習効率、モデル一般化に大きな影響を与えます。 本稿では,モデル一般化を改善し,クライアント参加とトレーニングを最適化する新しい手法であるクライアントフィルタリングを提案する。
  論文  参考訳（メタデータ） (2023-02-13T18:55:31Z)
• When to Trust Aggregated Gradients: Addressing Negative Client Sampling in Federated Learning [41.51682329500003]
  本稿では,各ラウンドにおける集約勾配に対するサーバ学習率を調整するための新しい学習率適応機構を提案する。 我々は、最適なサーバ学習率に肯定的な有意義で堅牢な指標を見つけるために、理論的な推論を行う。
  論文  参考訳（メタデータ） (2023-01-25T03:52:45Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Multitask Learning and Bandits via Robust Statistics [3.103098467546532]
  意思決定者は、しばしば多くの関連するが不均一な学習問題に直面している。 本稿では,この構造をサンプル効率良く活用する2段階マルチタスク学習推定器を提案する。 我々の推定器は、一般的な失業推定器と比較して、特徴次元$d$のサンプル複雑性境界を改善した。
  論文  参考訳（メタデータ） (2021-12-28T17:37:08Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
  フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。 本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2020-12-28T19:21:14Z)
• A Nonconvex Framework for Structured Dynamic Covariance Recovery [24.471814126358556]
  時間変化のある2次統計量を持つ高次元データに対するフレキシブルで解釈可能なモデルを提案する。 文献によって動機付けられ,因子化とスムーズな時間データの定量化を行う。 私たちのアプローチは,既存のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-11-11T07:09:44Z)
• An Investigation of Why Overparameterization Exacerbates Spurious Correlations [98.3066727301239]
  この動作を駆動するトレーニングデータの2つの重要な特性を特定します。 モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
  論文  参考訳（メタデータ） (2020-05-09T01:59:13Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。