論文の概要: FedPara: Low-rank Hadamard Product Parameterization for Efficient Federated Learning

• arxiv url: http://arxiv.org/abs/2108.06098v1
• Date: Fri, 13 Aug 2021 07:16:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-16 13:11:54.053043
• Title: FedPara: Low-rank Hadamard Product Parameterization for Efficient Federated Learning
• Title（参考訳）: FedPara: 効果的なフェデレート学習のための低ランクアダマール製品パラメータ化
• Authors: Nam Hyeon-Woo, Moon Ye-Bin, Tae-Hyun Oh
• Abstract要約: 本稿では,通信効率の高い再パラメータ化FedParaを提案する。 通信コストの2.8倍から10.1倍のコストでオリジナルのモデルに匹敵する性能を達成できる。 我々は、パラメータをグローバルとローカルに分離するパーソナライズされたFLアプリケーションpFedParaにメソッドを拡張します。
• 参考スコア（独自算出の注目度）: 22.460171460057865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To overcome the burdens on frequent model uploads and downloads during federated learning (FL), we propose a communication-efficient re-parameterization, FedPara. Our method re-parameterizes the model's layers using low-rank matrices or tensors followed by the Hadamard product. Different from the conventional low-rank parameterization, our method is not limited to low-rank constraints. Thereby, our FedPara has a larger capacity than the low-rank one, even with the same number of parameters. It can achieve comparable performance to the original models while requiring 2.8 to 10.1 times lower communication costs than the original models, which is not achievable by the traditional low-rank parameterization. Moreover, the efficiency can be further improved by combining our method and other efficient FL techniques because our method is compatible with others. We also extend our method to a personalized FL application, pFedPara, which separates parameters into global and local ones. We show that pFedPara outperforms competing personalized FL methods with more than three times fewer parameters.
• Abstract（参考訳）: フェデレートラーニング(FL)における頻繁なモデルアップロードとダウンロードの負担を克服するため,通信効率の良い再パラメータ化FedParaを提案する。 本手法では, 低ランク行列やテンソルを用いてモデル層を再パラメータ化し, ハダマール積を導出する。 従来の低ランクパラメータ化とは異なり,本手法は低ランク制約に限らない。 したがって、フェドパラは、同じパラメータ数であっても、低ランクのものよりも大きな容量を持つ。 従来の低ランクパラメータ化では達成できないが、従来のモデルに比べて2.8倍から10.1倍の通信コストを必要とする。 また,提案手法と他の効率的なfl手法を組み合わせることにより,その効率をさらに向上させることができる。 また、パラメータをグローバルとローカルに分離するパーソナライズされたFLアプリケーションpFedParaにもメソッドを拡張します。 pfedparaは3倍以上のパラメータでパーソナライズされたflメソッドよりも優れていることを示す。

関連論文リスト

• FineGates: LLMs Finetuning with Compression using Stochastic Gates [7.093692674858257]
  大規模言語モデル(LLM)は、高い計算要求のため、完全な微調整に重大な課題をもたらす。 低ランクのアダプタ層を学習するなど、軽量なファインタニング技術が提案されている。 本稿では,フリーズベースモデルとタスク固有適応を同時に分散するゲートに基づくアダプタモデルを提案する。
  論文  参考訳（メタデータ） (2024-12-17T14:33:05Z)
• OP-LoRA: The Blessing of Dimensionality [93.08208871549557]
  低ランクアダプタは、少数のパラメータしか持たない大型モデルの微調整を可能にする。 しばしば最適化の課題を提起するが、収束性は低い。 推論コストを増大させることなく、トレーニングを加速する過剰パラメータ化アプローチを導入する。 視覚言語タスクの改善、特に画像生成の顕著な向上を実現している。
  論文  参考訳（メタデータ） (2024-12-13T18:55:19Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Pareto Low-Rank Adapters: Efficient Multi-Task Learning with Preferences [49.14535254003683]
  PaLoRAは、タスク固有の低ランクアダプタでオリジナルのモデルを拡張する、新しいパラメータ効率の手法である。 実験の結果,PaLoRAは様々なデータセットでMTLとPFLのベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-07-10T21:25:51Z)
• Efficient Learning With Sine-Activated Low-rank Matrices [25.12262017296922]
  低ランク分解過程に正弦波関数を統合する新しい理論枠組みを提案する。 提案手法は,視覚変換器(ViT),Large Language Models(LLMs),NeRF(Neural Radiance Fields),および3次元形状モデリング(3D shape modelling)において,既存の低ランクモデルに対するプラグインとして証明されている。
  論文  参考訳（メタデータ） (2024-03-28T08:58:20Z)
• LoRA Meets Dropout under a Unified Framework [38.5176197615878]
  大規模言語モデル(LLM)は、多くのNLPアプリケーションにおいて重要な要素として現れている。 様々なドロップアウト手法は、当初は全てのパラメータを更新した完全な微調整のために設計されていたが、過剰なパラメータ冗長性に関連する過度な適合を緩和した。 我々は,これらの手法を,落下位置,構造パターン,補償基準に基づいてインスタンス化する総合的な調査のための統一的な枠組みを導入する。
  論文  参考訳（メタデータ） (2024-02-25T07:09:10Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。