論文の概要: Federated Fine-Tuning of Foundation Models via Probabilistic Masking

• arxiv url: http://arxiv.org/abs/2311.17299v1
• Date: Wed, 29 Nov 2023 01:10:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 23:05:44.656464
• Title: Federated Fine-Tuning of Foundation Models via Probabilistic Masking
• Title（参考訳）: 確率的マスキングによる基礎モデルのファインチューニング
• Authors: Vasileios Tsouvalas, Yuki Asano, Aaqib Saeed
• Abstract要約: ファンデーションモデル(FM)は、タスク間の適応性とハイパフォーマンスで機械学習に革命をもたらした。 フェデレートラーニング(FL)への統合は、広範囲なパラメータ化による通信オーバーヘッドが大きいため、難しい。 FLのFMを1bpp以下で効率よく微調整する新しい手法であるDeltaMaskを提案する。
• 参考スコア（独自算出の注目度）: 11.192113661738764
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation Models (FMs) have revolutionized machine learning with their adaptability and high performance across tasks; yet, their integration into Federated Learning (FL) is challenging due to substantial communication overhead from their extensive parameterization. Current communication-efficient FL strategies, such as gradient compression, reduce bitrates to around $1$ bit-per-parameter (bpp). However, these approaches fail to harness the characteristics of FMs, with their large number of parameters still posing a challenge to communication efficiency, even at these bitrate regimes. In this work, we present DeltaMask, a novel method that efficiently fine-tunes FMs in FL at an ultra-low bitrate, well below 1 bpp. DeltaMask employs stochastic masking to detect highly effective subnetworks within FMs and leverage stochasticity and sparsity in client masks to compress updates into a compact grayscale image using probabilistic filters, deviating from traditional weight training approaches. Our comprehensive evaluations across various datasets and architectures demonstrate DeltaMask efficiently achieves bitrates as low as 0.09 bpp, enhancing communication efficiency while maintaining FMs performance, as measured on 8 datasets and 5 pre-trained models of various network architectures.
• Abstract（参考訳）: ファンデーションモデル(FM)は、タスク間の適応性と高いパフォーマンスで機械学習に革命をもたらしたが、フェデレートラーニング(FL)への統合は、広範なパラメータ化による通信オーバーヘッドが大きいため、困難である。 現在の通信効率の高いfl戦略(勾配圧縮など)は、ビットレートをパラメータあたり約1ドル(bpp)に削減する。 しかし、これらのアプローチはfmsの特性を活用できず、その多数のパラメータは、これらのビットレート環境においても通信効率に挑戦している。 本研究では,FLのFMを1bpp以下の超低ビットレートで効率よく微調整する新しい手法であるDeltaMaskを提案する。 DeltaMaskは、FM内の高効率サブネットを検出するために確率マスクを採用し、クライアントマスクの確率性や空間性を利用して、確率的フィルタを用いて、更新をコンパクトなグレースケールの画像に圧縮する。 様々なデータセットとアーキテクチャの総合的な評価は、DeltaMaskが0.09bppのビットレートを効率的に達成し、FMの性能を維持しながら通信効率を向上させることを実証している。

関連論文リスト

• FedFT: Improving Communication Performance for Federated Learning with Frequency Space Transformation [0.361593752383807]
  フェデレート学習環境におけるモデルパラメータを伝達するための簡易かつ効果的な手法であるFedFT(Federated frequency-space transformation)を導入する。 FedFTは離散コサイン変換(DCT)を用いて周波数空間のモデルパラメータを表現し、効率的な圧縮と通信オーバーヘッドの低減を実現している。 我々は,3つの最先端FLベースラインとの比較研究を用いて,FedFT手法の4つのデータセット上での汎用性を実証した。
  論文  参考訳（メタデータ） (2024-09-08T23:05:35Z)
• Bandwidth-Aware and Overlap-Weighted Compression for Communication-Efficient Federated Learning [29.727339562140653]
  フェデレーション平均化(FedAvg)におけるスパシフィケーションなどの現在のデータ圧縮手法は、フェデレーション学習(FL)のコミュニケーション効率を効果的に向上させる。 これらの手法は、異種帯域幅と非IIDデータによるストラグラー問題やモデル性能の低下といった課題に直面する。 非IIDデータに関連する問題を軽減しつつ,通信効率の向上を目的としたFLのための帯域幅対応圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-27T02:28:27Z)
• FedPFT: Federated Proxy Fine-Tuning of Foundation Models [55.58899993272904]
  フェデレートラーニング(FL)を通じて下流タスクにファンデーションモデル(FM)を適用することは、データプライバシと価値のあるFMを保護するための有望な戦略として現れます。 FLのクライアントにサブFMを割り当てることによる既存のFMの微調整手法は、チューニングが不十分で勾配の必然的エラー蓄積が避けられないため、最適以下の性能をもたらす。 本稿では,FedPFT(Federated Proxy Fine-Tuning)を提案する。
  論文  参考訳（メタデータ） (2024-04-17T16:30:06Z)
• Parametric Feature Transfer: One-shot Federated Learning with Foundation Models [14.97955440815159]
  ワンショットのフェデレーション学習では、クライアントは単一のコミュニケーションでグローバルモデルを協調的にトレーニングする。 本稿では,基礎モデルの転送可能性を利用してワンショットFLの精度と通信効率を向上させる手法であるFedPFTを紹介する。
  論文  参考訳（メタデータ） (2024-02-02T19:34:46Z)
• Bridging the Gap Between Foundation Models and Heterogeneous Federated Learning [9.198799314774437]
  Federated Learning(FL)は、プライバシ保護による分散機械学習を提供し、プライベートデータを共有せずにエッジクライアントのモデルを最適化する。 ファンデーションモデル(FM)は、人工知能(AI)コミュニティにおいて、様々なタスクにまたがる例外的なパフォーマンスのために、注目を集めている。 本稿では、これらの課題に対処するため、リソース対応フェデレーション・ファンデーション・モデル(RaFFM)の適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-30T04:31:53Z)
• Hierarchical Over-the-Air FedGradNorm [50.756991828015316]
  MTL(Multi-task Learning)は、単一の共有ネットワークで複数の関連するタスクを同時に学習する学習パラダイムである。 我々は,HOTA-FedGradNormと呼ばれる動的重み付け戦略を用いた階層的オーバー・ザ・エア(HOTA)PFLを提案する。
  論文  参考訳（メタデータ） (2022-12-14T18:54:46Z)
• HFedMS: Heterogeneous Federated Learning with Memorable Data Semantics in Industrial Metaverse [49.1501082763252]
  本稿では,新しい産業メタバースに実用FLを取り入れたHFEDMSを提案する。 動的グルーピングとトレーニングモード変換によってデータの均一性を低下させる。 そして、圧縮された履歴データセマンティクスを融合することで、忘れられた知識を補う。 ストリームされた非I.d.FEMNISTデータセットに対して,368個のシミュレーションデバイスを用いて実験を行った。
  論文  参考訳（メタデータ） (2022-11-07T04:33:24Z)
• Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
  インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。 本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
  論文  参考訳（メタデータ） (2022-03-26T20:37:14Z)
• Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
  Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。 我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
  論文  参考訳（メタデータ） (2021-12-18T02:26:38Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。