論文の概要: The Panaceas for Improving Low-Rank Decomposition in Communication-Efficient Federated Learning

• arxiv url: http://arxiv.org/abs/2505.23176v1
• Date: Thu, 29 May 2025 07:14:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.728427
• Title: The Panaceas for Improving Low-Rank Decomposition in Communication-Efficient Federated Learning
• Title（参考訳）: コミュニケーション効率のよいフェデレーション学習における低ランク分解改善のためのパナセサ
• Authors: Shiwei Li, Xiandi Luo, Haozhao Wang, Xing Tang, Shijie Xu, Weihong Luo, Yuhua Li, Xiuqiang He, Ruixuan Li,
• Abstract要約: モデル更新分解(MUD)、ブロックワイドクローネッカー分解(BKD)、アグリゲーション・アウェア分解(AAD)の3つの新しい手法を紹介する。 提案手法は, ベースライン法よりも高速に収束し, 精度が向上する。
• 参考スコア（独自算出の注目度）: 22.346628012570818
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To improve the training efficiency of federated learning (FL), previous research has employed low-rank decomposition techniques to reduce communication overhead. In this paper, we seek to enhance the performance of these low-rank decomposition methods. Specifically, we focus on three key issues related to decomposition in FL: what to decompose, how to decompose, and how to aggregate. Subsequently, we introduce three novel techniques: Model Update Decomposition (MUD), Block-wise Kronecker Decomposition (BKD), and Aggregation-Aware Decomposition (AAD), each targeting a specific issue. These techniques are complementary and can be applied simultaneously to achieve optimal performance. Additionally, we provide a rigorous theoretical analysis to ensure the convergence of the proposed MUD. Extensive experimental results show that our approach achieves faster convergence and superior accuracy compared to relevant baseline methods. The code is available at https://github.com/Leopold1423/fedmud-icml25.
• Abstract（参考訳）: フェデレートラーニング(FL)の訓練効率を向上させるため,従来の研究では,通信オーバーヘッドを低減するために低ランク分解技術を用いてきた。 本稿では,これらの低ランク分解法の性能向上を図る。 具体的には,分解の仕方,分解の仕方,集約の仕方という,FLの分解に関する3つの重要な課題に焦点をあてる。 その後、モデル更新分解(MUD)、ブロックワイドクローネッカー分解(BKD)、アグリゲーション・アウェア分解(AAD)の3つの新しい技術を紹介し、それぞれが特定の問題をターゲットにしている。 これらの手法は相補的であり、最適な性能を達成するために同時に適用することができる。 さらに,提案手法の収束を保証するため,厳密な理論的解析を行う。 その結果,本手法はベースライン法よりも高速に収束し,精度が高いことがわかった。 コードはhttps://github.com/Leopold1423/fedmud-icml25で公開されている。

関連論文リスト

• FedHL: Federated Learning for Heterogeneous Low-Rank Adaptation via Unbiased Aggregation [6.5370850242187855]
  フェデレートラーニング(FL)は、分散データソースを使用したファンデーションモデル(FM)の微調整を容易にする。 Low-Rank Adaptation (LoRA) は通信コストの低さと高い性能で人気を博している。 既存の手法ではパラメータの切り離しとバイアス付き勾配更新による公式収束保証が欠如している。
  論文  参考訳（メタデータ） (2025-05-24T04:12:12Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Filter, Correlate, Compress: Training-Free Token Reduction for MLLM Acceleration [42.60904284683844]
  トークンの削減を3つの段階に分解するフレームワークを提案する。冗長トークンのフィルタリング,破棄された情報を保存トークンに関連付けること,冗長性を最小化するためにトークンを圧縮することである。 FiCoCo は LLaVA-1.5-7B/LLaVA-NeXT-7B で最大 5.7x/14.7x FLOPs の 92.8%/93.6% の性能保持を実現している。
  論文  参考訳（メタデータ） (2024-11-26T18:53:51Z)
• Efficient Diffusion as Low Light Enhancer [63.789138528062225]
  RATR(Reflectance-Aware Trajectory Refinement)は、イメージの反射成分を用いて教師の軌跡を洗練するための、シンプルで効果的なモジュールである。 textbfReDDiT (textbfDistilled textbfTrajectory) は低照度画像強調(LLIE)に適した効率的で柔軟な蒸留フレームワークである。
  論文  参考訳（メタデータ） (2024-10-16T08:07:18Z)
• Training Acceleration of Low-Rank Decomposed Networks using Sequential Freezing and Rank Quantization [5.914653351242832]
  そこで本研究では,分解に少数のランクを使用することなく,低階分解モデルを高速化する2つの手法を提案する。 これらの手法には、ランク最適化とシーケンシャルな層凍結が含まれる。 実験によると、これらの手法は、トレーニング中に60%まで、組み合わせると推論時に37%まで、モデルのスループットを向上させることができる。
  論文  参考訳（メタデータ） (2023-09-07T16:33:42Z)
• Are Random Decompositions all we need in High Dimensional Bayesian Optimisation? [4.31133019086586]
  グローバルに保持されていない局所的な分解に対して,データ駆動による分解学習者が容易に誤認できることが判明した。 木をベースとした無作為分解サンプリング装置は、ブラックボックスとそのサロゲート間の最大情報ゲインと機能ミスマッチを効果的にトレードオフする理論的保証を示す。 これらの結果は、(ほぼ)プラグ・アンド・プレイの実装が容易な乱分解上信頼結合アルゴリズム(RDUCB)の開発を動機付けている。
  論文  参考訳（メタデータ） (2023-01-30T12:54:46Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
  ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。 本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
  論文  参考訳（メタデータ） (2021-07-28T05:18:10Z)
• Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial Attacks [86.88061841975482]
  我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。 我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。 提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
  論文  参考訳（メタデータ） (2020-10-08T18:36:51Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。