Fugu-MT 論文翻訳(概要): Riemannian Low-Rank Model Compression for Federated Learning with Over-the-Air Aggregation

論文の概要: Riemannian Low-Rank Model Compression for Federated Learning with Over-the-Air Aggregation

arxiv url: http://arxiv.org/abs/2306.02433v1
Date: Sun, 4 Jun 2023 18:32:50 GMT
ステータス: 処理完了
システム内更新日: 2023-06-06 17:47:17.024371
Title: Riemannian Low-Rank Model Compression for Federated Learning with Over-the-Air Aggregation
Title（参考訳）: エアアグリゲーションによるフェデレーション学習のためのリーマン低ランクモデル圧縮
Authors: Ye Xue, Vincent Lau
Abstract要約: 低ランクモデル圧縮は、機械学習モデルを訓練する際の計算負荷を減らすために広く使われている技法である。既存の圧縮技術は、連合学習システムにおける効率の良いオーバー・ザ・エア(OTA)アグリゲーションには直接適用できない。低ランク制約を緩和しないFLにおける低ランクモデル圧縮のための新しい多様体最適化法を提案する。
参考スコア（独自算出の注目度）: 2.741266294612776
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Low-rank model compression is a widely used technique for reducing the computational load when training machine learning models. However, existing methods often rely on relaxing the low-rank constraint of the model weights using a regularized nuclear norm penalty, which requires an appropriate hyperparameter that can be difficult to determine in practice. Furthermore, existing compression techniques are not directly applicable to efficient over-the-air (OTA) aggregation in federated learning (FL) systems for distributed Internet-of-Things (IoT) scenarios. In this paper, we propose a novel manifold optimization formulation for low-rank model compression in FL that does not relax the low-rank constraint. Our optimization is conducted directly over the low-rank manifold, guaranteeing that the model is exactly low-rank. We also introduce a consensus penalty in the optimization formulation to support OTA aggregation. Based on our optimization formulation, we propose an alternating Riemannian optimization algorithm with a precoder that enables efficient OTA aggregation of low-rank local models without sacrificing training performance. Additionally, we provide convergence analysis in terms of key system parameters and conduct extensive experiments with real-world datasets to demonstrate the effectiveness of our proposed Riemannian low-rank model compression scheme compared to various state-of-the-art baselines.
Abstract（参考訳）: 低ランクモデル圧縮は、機械学習モデルを訓練する際の計算負荷を減らすために広く使われている技法である。しかし、既存の手法は、通常化された核ノルムのペナルティを使ってモデル重量の低ランクな制約を緩和することにしばしば依存しており、これは実際は決定が難しい適切なハイパーパラメータを必要とする。さらに、既存の圧縮技術は、分散IoT(Internet-of-Things)シナリオのためのフェデレーション学習(FL)システムにおいて、効率の良いオーバー・ザ・エア(OTA)アグリゲーションに直接適用できない。本稿では,低ランク制約を緩和しないFLにおける低ランクモデル圧縮のための新しい多様体最適化式を提案する。我々の最適化は低ランク多様体上で直接行われ、モデルが完全に低ランクであることを保証する。また、OTAアグリゲーションをサポートする最適化定式化において、コンセンサスペナルティを導入する。最適化の定式化に基づき、トレーニング性能を犠牲にすることなく、低ランク局所モデルのOTA効率的な集約を可能にするプリコーダを用いた交互リーマン最適化アルゴリズムを提案する。さらに,キーシステムパラメータの観点から収束解析を行い,実世界のデータセットを用いて大規模実験を行い,提案するリーマン型低ランクモデル圧縮スキームの有効性を示す。

関連論文リスト

LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、下流タスクのための大規模な事前学習モデルに効果的に適応する、PEFT (Efficient Fine Tuning) 手法として人気がある。モデル更新に低階テンソルパラメトリゼーションを用いる新しい手法を提案する。提案手法は,大規模言語モデルの微調整に有効であり,比較性能を維持しつつ,パラメータ数の大幅な削減を実現している。
論文参考訳（メタデータ） (2024-10-05T06:59:50Z)
SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
論文参考訳（メタデータ） (2024-09-10T16:44:47Z)
Edge-Efficient Deep Learning Models for Automatic Modulation Classification: A Performance Analysis [0.7428236410246183]
無線信号の自動変調分類(AMC)のための最適化畳み込みニューラルネットワーク(CNN)について検討した。本稿では,これらの手法を組み合わせて最適化モデルを提案する。実験結果から,提案手法と組み合わせ最適化手法は,複雑度が著しく低いモデルの開発に極めて有効であることが示唆された。
論文参考訳（メタデータ） (2024-04-11T06:08:23Z)
Rethinking Compression: Reduced Order Modelling of Latent Features in Large Language Models [9.91972450276408]
本稿では,Large Language Models (LLMs) のパラメトリックおよび実用的な圧縮に対して,低次モデリングに基づく革新的なアプローチを提案する。本手法は, 行列分解を利用したモデル圧縮の顕著な進歩を示し, 最先端の構造化プルーニング法よりも優れた有効性を示した。
論文参考訳（メタデータ） (2023-12-12T07:56:57Z)
Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
論文参考訳（メタデータ） (2023-10-19T15:13:58Z)
Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文参考訳（メタデータ） (2023-06-28T18:14:22Z)
Learning Accurate Performance Predictors for Ultrafast Automated Model Compression [86.22294249097203]
フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
論文参考訳（メタデータ） (2023-04-13T10:52:49Z)
Train Flat, Then Compress: Sharpness-Aware Minimization Learns More Compressible Models [7.6356407698088]
不要なパラメータを抽出することは、大きなモデルを圧縮するための単純で効果的な方法として現れている。平らな最小値の最適化は、標準Adamの最適化よりもパラメータの圧縮性が高いことを示す。
論文参考訳（メタデータ） (2022-05-25T11:54:37Z)
Compression-aware Training of Neural Networks using Frank-Wolfe [27.69586583737247]
本稿では,フィルタプルーニングと低ランク行列分解に対するロバスト性を誘導しながら,高い性能のソリューションへの収束を促すフレームワークを提案する。提案手法は,従来の圧縮対応手法よりも優れており,低ランク行列分解の場合,核ノルム正規化に基づく手法よりも計算資源が大幅に少ない。
論文参考訳（メタデータ） (2022-05-24T09:29:02Z)
Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization [21.81192774458227]
主なボトルネックの1つは、中央サーバとローカルワーカーの間の通信コストが大きいことである。提案する分散学習フレームワークは,効果的な勾配勾配圧縮戦略を特徴とする。
論文参考訳（メタデータ） (2021-11-01T04:54:55Z)
Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。 LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
論文参考訳（メタデータ） (2020-02-12T18:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。