論文の概要: On Sampling Strategies for Spectral Model Sharding

• arxiv url: http://arxiv.org/abs/2410.24106v1
• Date: Thu, 31 Oct 2024 16:37:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:00:56.998985
• Title: On Sampling Strategies for Spectral Model Sharding
• Title（参考訳）: スペクトルモデルシャーディングのサンプリング法について
• Authors: Denis Korzhenkov, Christos Louizos,
• Abstract要約: 本研究では,そのようなシャーディングのための2つのサンプリング戦略を提案する。 第1は元の重みの偏りのない推定器を生成し、第2は正方形の近似誤差を最小限にすることを目的としている。 これら2つの手法が,様々な一般的なデータセットの性能向上につながることを実証した。
• 参考スコア（独自算出の注目度）: 7.185534285278903
• License:
• Abstract: The problem of heterogeneous clients in federated learning has recently drawn a lot of attention. Spectral model sharding, i.e., partitioning the model parameters into low-rank matrices based on the singular value decomposition, has been one of the proposed solutions for more efficient on-device training in such settings. In this work, we present two sampling strategies for such sharding, obtained as solutions to specific optimization problems. The first produces unbiased estimators of the original weights, while the second aims to minimize the squared approximation error. We discuss how both of these estimators can be incorporated in the federated learning loop and practical considerations that arise during local training. Empirically, we demonstrate that both of these methods can lead to improved performance on various commonly used datasets.
• Abstract（参考訳）: 連合学習における異種クライアントの問題は近年注目されている。 スペクトルモデルのシャーディング、すなわち特異値分解に基づいてモデルパラメータを低ランク行列に分割することは、そのような設定においてより効率的なオンデバイストレーニングのための提案された解決策の1つである。 本研究では,特定の最適化問題の解法として得られた2つのシャーディングのサンプリング手法を提案する。 第1は元の重みの偏りのない推定器を生成し、第2は正方形の近似誤差を最小限にすることを目的としている。 本稿では,これら2つの推定器を連携学習ループに組み込む方法と,局所学習中に生じる実践的考察について論じる。 実験により,これら2つの手法が,様々な一般的なデータセットの性能向上につながることを示した。

関連論文リスト

• A Diffusion Model Framework for Unsupervised Neural Combinatorial Optimization [7.378582040635655]
  現在のディープラーニングアプローチは、正確なサンプル確率を生み出す生成モデルに依存している。 この研究は、この制限を解除し、高度に表現力のある潜在変数モデルを採用する可能性を開放する手法を導入する。 我々は,データフリーなコンビネーション最適化におけるアプローチを実験的に検証し,幅広いベンチマーク問題に対して新しい最先端の手法を実現することを実証した。
  論文  参考訳（メタデータ） (2024-06-03T17:55:02Z)
• Sparse Variational Student-t Processes [8.46450148172407]
  学生Tプロセスは、重い尾の分布とデータセットをアウトリーチでモデル化するために使用される。 本研究では,学生プロセスが現実のデータセットに対してより柔軟になるためのスパース表現フレームワークを提案する。 UCIとKaggleの様々な合成および実世界のデータセットに対する2つの提案手法の評価を行った。
  論文  参考訳（メタデータ） (2023-12-09T12:55:20Z)
• Constrained Bayesian Optimization Under Partial Observations: Balanced Improvements and Provable Convergence [6.461785985849886]
  我々は、制約付きベイズ最適化の枠組みの下で、高価なPOCOPの効率的かつ証明可能な手法を設計する。 本稿では,最適化時の平衡探索を取り入れた取得関数の設計を改良した。 部分的に観測可能な制約に対する代理モデルとして異なる確率を埋め込んだガウス過程を提案する。
  論文  参考訳（メタデータ） (2023-12-06T01:00:07Z)
• Aggregation Weighting of Federated Learning via Generalization Bound Estimation [65.8630966842025]
  フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。 上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
  論文  参考訳（メタデータ） (2023-11-10T08:50:28Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Learning to Select Pivotal Samples for Meta Re-weighting [12.73177872962048]
  本研究では,大規模で不完全なトレーニングセットからこのようなメタサンプルを識別する方法を学習し,その後,クリーン化し,性能を最適化するために利用する。 学習フレームワークにおける2つのクラスタリング手法,Representation-based clustering method (RBC) と Gradient-based clustering method (GBC) を提案する。
  論文  参考訳（メタデータ） (2023-02-09T03:04:40Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Robust Optimal Transport with Applications in Generative Modeling and Domain Adaptation [120.69747175899421]
  ワッサーシュタインのような最適輸送(OT)距離は、GANやドメイン適応のようないくつかの領域で使用されている。 本稿では,現代のディープラーニングアプリケーションに適用可能な,ロバストなOT最適化の計算効率のよい2つの形式を提案する。 提案手法では, ノイズの多いデータセット上で, 外部分布で劣化したGANモデルをトレーニングすることができる。
  論文  参考訳（メタデータ） (2020-10-12T17:13:40Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。