論文の概要: Efficient Federated Finetuning of Tiny Transformers with Resource-Constrained Devices

• arxiv url: http://arxiv.org/abs/2411.07826v1
• Date: Tue, 12 Nov 2024 14:22:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:17:51.398543
• Title: Efficient Federated Finetuning of Tiny Transformers with Resource-Constrained Devices
• Title（参考訳）: 資源制約デバイスを用いたTiny変換器の高効率フェデレートファインタニング
• Authors: Kilian Pfeiffer, Mohamed Aboelenien Ahmed, Ramin Khalili, Jörg Henkel,
• Abstract要約: 大規模言語モデル(LLM)は、大量のデータを必要とする。 このようなモデルをパラメータ効率のよい方法で微調整するために、AdapterやLoRAのような技術が開発されている。 提案手法は, 等質的あるいは異質な計算やメモリ制約を扱う場合, 現状よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 10.676390348161888
• License:
• Abstract: In recent years, Large Language Models (LLMs) through Transformer structures have dominated many machine learning tasks, especially text processing. However, these models require massive amounts of data for training and induce high resource requirements, particularly in terms of the large number of Floating Point Operations (FLOPs) and the high amounts of memory needed. To fine-tune such a model in a parameter-efficient way, techniques like Adapter or LoRA have been developed. However, we observe that the application of LoRA, when used in federated learning (FL), while still being parameter-efficient, is memory and FLOP inefficient. Based on that observation, we develop a novel layer finetuning scheme that allows devices in cross-device FL to make use of pretrained neural networks (NNs) while adhering to given resource constraints. We show that our presented scheme outperforms the current state of the art when dealing with homogeneous or heterogeneous computation and memory constraints and is on par with LoRA regarding limited communication, thereby achieving significantly higher accuracies in FL training.
• Abstract（参考訳）: 近年、トランスフォーマー構造によるLarge Language Models (LLMs) は、多くの機械学習タスク、特にテキスト処理を支配している。 しかし、これらのモデルは大量のデータを必要とし、特に大量の浮動小数点演算(FLOP)と大量のメモリの量の観点から、高いリソース要求を誘導する。 このようなモデルをパラメータ効率のよい方法で微調整するために、AdapterやLoRAのような技術が開発されている。 しかし、まだパラメータ効率が良く、かつFLOP非効率な連邦学習(FL)におけるLoRAの応用は、記憶とFLOP非効率であることが観察された。 そこで我々は,デバイス間FLのデバイスが与えられた資源制約に固執しながら,事前学習されたニューラルネットワーク(NN)を利用することのできる,新しい層微細化手法を開発した。 提案手法は, 等質的あるいは異質な計算やメモリ制約を扱う場合, 現在の最先端技術よりも優れ, 限られた通信に関してLoRAと同等であり, FLトレーニングにおける精度が著しく向上することを示す。

関連論文リスト

• R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
  Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。 これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。 無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-07-16T12:21:29Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Save It All: Enabling Full Parameter Tuning for Federated Large Language Models via Cycle Block Gradient Descent [15.463595798992621]
  大規模言語モデル(LLM)はディープラーニングパラダイムに革命をもたらし、幅広いタスクで印象的な結果をもたらしている。 既存のソリューションは、モデル全体がトレーニングのために交換されるという非現実的な仮定を定めている。 本稿では,資源消費を最小限に抑えつつ,FLにおけるLLMの効率的なトレーニングと微調整を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T03:49:44Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• OnDev-LCT: On-Device Lightweight Convolutional Transformers towards federated learning [29.798780069556074]
  フェデレートラーニング(FL)は、複数のエッジデバイスにまたがる機械学習モデルを協調的にトレーニングするための、有望なアプローチとして登場した。 トレーニングデータとリソースに制限のあるオンデバイスビジョンタスクのための軽量畳み込み変換器を提案する。
  論文  参考訳（メタデータ） (2024-01-22T02:17:36Z)
• A Masked Pruning Approach for Dimensionality Reduction in Communication-Efficient Federated Learning Systems [11.639503711252663]
  Federated Learning(FL)は、多数のノードにわたるモデルのトレーニング用に設計された、成長する機械学習(ML)パラダイムである。 本研究では, フラニング法とFL法を組み合わせることにより, 限界を克服する新しいアルゴリズムを開発した。 本研究は,MPFLの既存手法と比較して優れた性能を示す広範囲な実験的研究である。
  論文  参考訳（メタデータ） (2023-12-06T20:29:23Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
  FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。 異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。 実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-08-12T10:33:57Z)
• Aggregating Capacity in FL through Successive Layer Training for Computationally-Constrained Devices [3.4530027457862]
  フェデレートラーニング(FL)は通常、リソース制約されたエッジデバイス上で実行される。 FLトレーニングプロセスはそのような制約に合わせて調整されるべきである。 本研究では,FLモデルのパラメータをデバイス上で連続的に凍結・訓練する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-26T15:04:06Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。