論文の概要: AutoRank: MCDA Based Rank Personalization for LoRA-Enabled Distributed Learning
- arxiv url: http://arxiv.org/abs/2412.15553v1
- Date: Fri, 20 Dec 2024 04:27:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-23 16:19:52.000941
- Title: AutoRank: MCDA Based Rank Personalization for LoRA-Enabled Distributed Learning
- Title（参考訳）: AutoRank: LoRA対応分散学習のためのMCDAに基づくランクパーソナライゼーション
- Authors: Shuaijun Chen, Omid Tavallaie, Niousha Nazemi, Xin Chen, Albert Y. Zomaya,
- Abstract要約: Low-Rank Adaptation (LoRA)は、モデル全体を最適化するのではなく、低ランク更新をパーソナライズすることで、この問題に対する有望な解決策を提供する。
バイアス分散トレードオフに着想を得た適応的なランク設定アルゴリズムであるAutoRankを提案する。
- 参考スコア（独自算出の注目度）: 25.530322998564134
- License:
- Abstract: As data volumes expand rapidly, distributed machine learning has become essential for addressing the growing computational demands of modern AI systems. However, training models in distributed environments is challenging with participants hold skew, Non-Independent-Identically distributed (Non-IID) data. Low-Rank Adaptation (LoRA) offers a promising solution to this problem by personalizing low-rank updates rather than optimizing the entire model, LoRA-enabled distributed learning minimizes computational and maximize personalization for each participant. Enabling more robust and efficient training in distributed learning settings, especially in large-scale, heterogeneous systems. Despite the strengths of current state-of-the-art methods, they often require manual configuration of the initial rank, which is increasingly impractical as the number of participants grows. This manual tuning is not only time-consuming but also prone to suboptimal configurations. To address this limitation, we propose AutoRank, an adaptive rank-setting algorithm inspired by the bias-variance trade-off. AutoRank leverages the MCDA method TOPSIS to dynamically assign local ranks based on the complexity of each participant's data. By evaluating data distribution and complexity through our proposed data complexity metrics, AutoRank provides fine-grained adjustments to the rank of each participant's local LoRA model. This adaptive approach effectively mitigates the challenges of double-imbalanced, non-IID data. Experimental results demonstrate that AutoRank significantly reduces computational overhead, enhances model performance, and accelerates convergence in highly heterogeneous federated learning environments. Through its strong adaptability, AutoRank offers a scalable and flexible solution for distributed machine learning.
- Abstract（参考訳）: データボリュームが急速に拡大するにつれて、現代のAIシステムの計算需要の増加に対応するために、分散機械学習が不可欠になっている。
しかし、分散環境でのトレーニングモデルは、参加者がスキューで非独立に分散した(Non-IID)データを保持することで困難である。
低ランク適応(LoRA)は、モデル全体を最適化するのではなく、低ランク更新をパーソナライズすることでこの問題に対して有望な解決策を提供する。
分散学習環境で、特に大規模で異質なシステムにおいて、より堅牢で効率的なトレーニングを実現する。
現在の最先端の手法の強みにもかかわらず、しばしば最初のランクを手動で設定する必要がある。
この手動チューニングは時間を要するだけでなく、最適以下の設定もする。
この制限に対処するために,バイアス分散トレードオフに着想を得た適応的なランク設定アルゴリズムであるAutoRankを提案する。
AutoRankは、MCDAメソッドのTOPSISを利用して、各参加者のデータの複雑さに基づいて、局所的なランクを動的に割り当てる。
提案したデータ複雑性メトリクスを用いてデータ分散と複雑性を評価することにより、AutoRankは各参加者のローカルLoRAモデルのランクを微調整する。
この適応的アプローチは、二重不均衡な非IIDデータの課題を効果的に軽減する。
実験結果から,AutoRankは計算オーバーヘッドを著しく低減し,モデル性能を向上し,高度にヘテロジニアスなフェデレーション学習環境における収束を加速することが示された。
強力な適応性を通じて、AutoRankは分散機械学習のためのスケーラブルで柔軟なソリューションを提供する。
関連論文リスト
- FedECADO: A Dynamical System Model of Federated Learning [15.425099636035108]
フェデレーション学習は分散最適化の力を活用して、別々のクライアント間で統一された機械学習モデルをトレーニングする。
本研究は,フェデレート学習プロセスの動的システム表現にインスパイアされた新しいアルゴリズムであるFedECADOを提案する。
FedProxやFedNovaといった著名な技術と比較して、FedECADOは多くの異種シナリオにおいて高い分類精度を達成する。
論文 参考訳（メタデータ） (2024-10-13T17:26:43Z) - LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。
全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。
提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
論文 参考訳（メタデータ） (2024-05-23T11:10:32Z) - Learning Fair Ranking Policies via Differentiable Optimization of
Ordered Weighted Averages [55.04219793298687]
本稿では,学習からランクへの学習ループに,効率よく解ける公正ランキングモデルを組み込む方法について述べる。
特に,本論文は,OWA目標の制約された最適化を通じてバックプロパゲーションを行う方法を示す最初のものである。
論文 参考訳（メタデータ） (2024-02-07T20:53:53Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Serverless Federated AUPRC Optimization for Multi-Party Collaborative
Imbalanced Data Mining [119.89373423433804]
有効指標としてAUPRC(Area Under Precision-Recall)を導入した。
サーバーレスのマルチパーティ共同トレーニングは、サーバーノードのボトルネックを避けることで通信コストを削減できる。
本稿では,AUPRCを直接最適化する ServerLess biAsed sTochastic gradiEnt (SLATE) アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-08-06T06:51:32Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Real-time End-to-End Federated Learning: An Automotive Case Study [16.79939549201032]
本稿では,新しい非同期モデルアグリゲーションプロトコルと組み合わさったリアルタイムエンドツーエンドフェデレーション学習のアプローチを提案する。
その結果,非同期フェデレーション学習は,局所エッジモデルの予測性能を大幅に向上させ,集中型機械学習法と同じ精度に到達できることがわかった。
論文 参考訳（メタデータ） (2021-03-22T14:16:16Z) - Analysis and Optimal Edge Assignment For Hierarchical Federated Learning
on Non-IID Data [43.32085029569374]
フェデレーション学習アルゴリズムは、ユーザのデバイスに格納された分散および多様なデータを活用して、グローバルな現象を学習することを目的としている。
参加者のデータが強く歪んだ場合(例えば、非iidの場合)、ローカルモデルはローカルデータに過剰に適合し、低パフォーマンスなグローバルモデルに繋がる。
ユーザエッジ層にFederated Gradient Descent、エッジクラウド層にFederated Averagingを実行する階層学習システムを提案する。
論文 参考訳（メタデータ） (2020-12-10T12:18:13Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳（メタデータ） (2020-02-20T15:00:54Z) - Robust Federated Learning Through Representation Matching and Adaptive
Hyper-parameters [5.319361976450981]
フェデレーション学習(Federated Learning)は、複数のクライアントに属するデータに対して単一のモデルをトレーニングする、分散されたプライバシ対応の学習シナリオである。
現在のフェデレーション学習手法は、異種クライアント側データ分散に苦慮している。
本稿では,局所モデルのばらつきを低減する表現マッチング手法を提案する。
論文 参考訳（メタデータ） (2019-12-30T20:19:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。