論文の概要: Collaborative Learning with Shared Linear Representations: Statistical Rates and Optimal Algorithms

• arxiv url: http://arxiv.org/abs/2409.04919v1
• Date: Sat, 7 Sep 2024 21:53:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 20:10:34.433556
• Title: Collaborative Learning with Shared Linear Representations: Statistical Rates and Optimal Algorithms
• Title（参考訳）: 共有線形表現を用いた協調学習:統計的レートと最適アルゴリズム
• Authors: Xiaochun Niu, Lili Su, Jiaming Xu, Pengkun Yang,
• Abstract要約: コラボレーション学習により、複数のクライアントがローカルデータ分散間で共有された特徴表現を学習できる。 クライアントが共通の低次元線形表現を共有する際の最適統計率を同定する。 この結果から,システムレベルでのコラボレーションは,独立したクライアント学習に比べて,サンプリングの複雑さを低減させることがわかった。
• 参考スコア（独自算出の注目度）: 13.643155483461028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Collaborative learning enables multiple clients to learn shared feature representations across local data distributions, with the goal of improving model performance and reducing overall sample complexity. While empirical evidence shows the success of collaborative learning, a theoretical understanding of the optimal statistical rate remains lacking, even in linear settings. In this paper, we identify the optimal statistical rate when clients share a common low-dimensional linear representation. Specifically, we design a spectral estimator with local averaging that approximates the optimal solution to the least squares problem. We establish a minimax lower bound to demonstrate that our estimator achieves the optimal error rate. Notably, the optimal rate reveals two distinct phases. In typical cases, our rate matches the standard rate based on the parameter counting of the linear representation. However, a statistical penalty arises in collaborative learning when there are too many clients or when local datasets are relatively small. Furthermore, our results, unlike existing ones, show that, at a system level, collaboration always reduces overall sample complexity compared to independent client learning. In addition, at an individual level, we provide a more precise characterization of when collaboration benefits a client in transfer learning and private fine-tuning.
• Abstract（参考訳）: コラボレーション学習により、複数のクライアントがローカルデータディストリビューション間で共有された特徴表現を学習できるようになる。 実験的な証拠は、協調学習の成功を示しているが、最適統計率に関する理論的理解は、線形な設定でさえも欠如している。 本稿では,クライアントが共通の低次元線形表現を共有する場合の最適統計率について述べる。 具体的には、最小二乗問題に対する最適解を近似する局所平均化を用いたスペクトル推定器を設計する。 我々は,推定器が最適誤差率を達成することを示すために,ミニマックス下限を確立する。 特に、最適速度は2つの異なる位相を示す。 典型的には、線形表現のパラメータカウントに基づく標準レートと一致する。 しかし、クライアントが多すぎる場合や、ローカルデータセットが比較的小さい場合には、統計的ペナルティが発生する。 さらに、既存のものとは異なり、システムレベルでは、コラボレーションは、独立したクライアント学習に比べて、全体的なサンプルの複雑さを減らします。 さらに、個人レベルでは、移行学習や個人ファインチューニングにおいて、クライアントがいつコラボレーションに恩恵を受けるかをより正確に評価する。

関連論文リスト

• Learning Massive-scale Partial Correlation Networks in Clinical Multi-omics Studies with HP-ACCORD [10.459304300065186]
  擬似表現に基づくグラフィカル・モデル・フレームワークを提案する。 これは高次元の仮定の下で様々な指標における推定と選択の整合性を維持する。 最大100万変数のシミュレーションデータを用いて,我々のフレームワークの高性能コンピューティング実装を検証した。
  論文  参考訳（メタデータ） (2024-12-16T08:38:02Z)
• High-dimensional logistic regression with missing data: Imputation, regularization, and universality [7.167672851569787]
  我々は高次元リッジ規則化ロジスティック回帰について検討する。 予測誤差と推定誤差の両方を正確に評価する。
  論文  参考訳（メタデータ） (2024-10-01T21:41:21Z)
• Generalization error of min-norm interpolators in transfer learning [2.7309692684728617]
  最小ノルム補間器は、現代の機械学習アルゴリズムの暗黙の正規化限界として自然に現れる。 多くのアプリケーションでは、トレーニング中に限られた量のテストデータが利用できるが、この設定におけるmin-normの特性は十分に理解されていない。 我々はこれらの特徴を達成するために、新しい異方性局所法を確立した。
  論文  参考訳（メタデータ） (2024-06-20T02:23:28Z)
• Distributed Personalized Empirical Risk Minimization [19.087524494290676]
  本稿では、異種データからの学習を容易にするために、新たなパラダイムであるPersonalized Empirical Risk Minimization(PERM)を提案する。 本稿では,標準モデル平均化をモデルシャッフルに置き換えた分散アルゴリズムを提案し,すべてのデバイスに対してPERM目標を同時に最適化する。
  論文  参考訳（メタデータ） (2023-10-26T20:07:33Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• A Nonconvex Framework for Structured Dynamic Covariance Recovery [24.471814126358556]
  時間変化のある2次統計量を持つ高次元データに対するフレキシブルで解釈可能なモデルを提案する。 文献によって動機付けられ,因子化とスムーズな時間データの定量化を行う。 私たちのアプローチは,既存のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-11-11T07:09:44Z)
• An Investigation of Why Overparameterization Exacerbates Spurious Correlations [98.3066727301239]
  この動作を駆動するトレーニングデータの2つの重要な特性を特定します。 モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
  論文  参考訳（メタデータ） (2020-05-09T01:59:13Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。