論文の概要: FedPFT: Federated Proxy Fine-Tuning of Foundation Models

• arxiv url: http://arxiv.org/abs/2404.11536v2
• Date: Sun, 28 Apr 2024 11:11:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 22:36:34.191253
• Title: FedPFT: Federated Proxy Fine-Tuning of Foundation Models
• Title（参考訳）: FedPFT:フェデレーテッド・セクシー・ファインタニングのファンデーションモデル
• Authors: Zhaopeng Peng, Xiaoliang Fan, Yufan Chen, Zheng Wang, Shirui Pan, Chenglu Wen, Ruisheng Zhang, Cheng Wang,
• Abstract要約: フェデレートラーニング(FL)を通じて下流タスクにファンデーションモデル(FM)を適用することは、データプライバシと価値のあるFMを保護するための有望な戦略として現れます。 FLのクライアントにサブFMを割り当てることによる既存のFMの微調整手法は、チューニングが不十分で勾配の必然的エラー蓄積が避けられないため、最適以下の性能をもたらす。 本稿では,FedPFT(Federated Proxy Fine-Tuning)を提案する。
• 参考スコア（独自算出の注目度）: 55.58899993272904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapting Foundation Models (FMs) for downstream tasks through Federated Learning (FL) emerges a promising strategy for protecting data privacy and valuable FMs. Existing methods fine-tune FM by allocating sub-FM to clients in FL, however, leading to suboptimal performance due to insufficient tuning and inevitable error accumulations of gradients. In this paper, we propose Federated Proxy Fine-Tuning (FedPFT), a novel method enhancing FMs adaptation in downstream tasks through FL by two key modules. First, the sub-FM construction module employs a layer-wise compression approach, facilitating comprehensive FM fine-tuning across all layers by emphasizing those crucial neurons. Second, the sub-FM alignment module conducts a two-step distillations-layer-level and neuron-level-before and during FL fine-tuning respectively, to reduce error of gradient by accurately aligning sub-FM with FM under theoretical guarantees. Experimental results on seven commonly used datasets (i.e., four text and three vision) demonstrate the superiority of FedPFT.
• Abstract（参考訳）: フェデレートラーニング(FL)を通じて下流タスクにファンデーションモデル(FM)を適用することで、データのプライバシと価値のあるFMを保護するための有望な戦略が浮かび上がっている。 しかし、既存手法では、FLのクライアントにサブFMを割り当てることによってFMを微調整するが、チューニングが不十分で勾配の誤差の蓄積が避けられないため、最適化性能が低下する。 本稿では,FedPFT(Federated Proxy Fine-Tuning)を提案する。 まず、サブFM構築モジュールはレイヤワイド圧縮アプローチを採用し、これらの重要なニューロンを強調することで、すべてのレイヤにわたる包括的なFM微調整を容易にする。 第2に、サブFMアライメントモジュールは、FL微調整中にそれぞれ2段階の蒸留層レベルおよびニューロンレベルレベルを実行し、理論的な保証の下で、サブFMとFMを正確に整列させることで勾配の誤差を低減する。 一般的な7つのデータセット(4つのテキストと3つのビジョン)の実験結果は、FedPFTの優位性を示している。

関連論文リスト

• A Framework for Double-Blind Federated Adaptation of Foundation Models [4.910367774892893]
  完全同型暗号(FHE)を用いたFMの二重盲連合適応のためのフレームワークを提案する。 提案したフレームワークは、FMを知識蒸留によりFHEフレンドリーなブロックの列に分解する。 結果として生じるFHEフレンドリーなモデルは、低ランクの並列アダプタを介して下流タスクに適応する。
  論文  参考訳（メタデータ） (2025-02-03T12:00:11Z)
• Enabling Time-series Foundation Model for Building Energy Forecasting via Contrastive Curriculum Learning [12.19823790689484]
  エネルギー予測タスク構築のための基礎モデル(FM)の適用について検討する。 そこで本研究では,新しいテキストコントラスト学習に基づく学習方法を提案する。 実験の結果,既存のFMと比較してゼロ/フェーショット性能を14.6%向上できることがわかった。
  論文  参考訳（メタデータ） (2024-12-23T05:07:06Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• Grounding Foundation Models through Federated Transfer Learning: A General Framework [20.341440265217496]
  GPT-4のような基礎モデル(FM)は、様々な自然言語処理やコンピュータビジョンタスクにおいて顕著な成功を収めている。 FMをドメイン固有のタスクに適応させたり、ドメイン固有の知識で拡張することで、FMの潜在能力を最大限に活用することができる。 近年,フェデレート・トランスファー・ラーニング(FTL)を活用したFMの基盤化の必要性が,学術と産業の両面で強く現れている。 FTL-FM研究の強い成長と、FTL-FMが産業応用に与える影響を動機として、FTL-FMフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:21:42Z)
• Federated Fine-Tuning of Foundation Models via Probabilistic Masking [11.192113661738764]
  ファンデーションモデル(FM)は、タスク間の適応性とハイパフォーマンスで機械学習に革命をもたらした。 フェデレートラーニング(FL)への統合は、広範囲なパラメータ化による通信オーバーヘッドが大きいため、難しい。 FLのFMを1bpp以下で効率よく微調整する新しい手法であるDeltaMaskを提案する。
  論文  参考訳（メタデータ） (2023-11-29T01:10:39Z)
• The Role of Federated Learning in a Wireless World with Foundation Models [59.8129893837421]
  ファンデーションモデル(FM)は汎用人工知能(AI)モデルである。 現在、FMと連邦学習(FL)の相互作用の探索はまだ初期段階にある。 本稿では、FMが無線ネットワークよりもFLに適した範囲について検討し、その研究課題と機会について概観する。
  論文  参考訳（メタデータ） (2023-10-06T04:13:10Z)
• Bridging the Gap Between Foundation Models and Heterogeneous Federated Learning [9.198799314774437]
  Federated Learning(FL)は、プライバシ保護による分散機械学習を提供し、プライベートデータを共有せずにエッジクライアントのモデルを最適化する。 ファンデーションモデル(FM)は、人工知能(AI)コミュニティにおいて、様々なタスクにまたがる例外的なパフォーマンスのために、注目を集めている。 本稿では、これらの課題に対処するため、リソース対応フェデレーション・ファンデーション・モデル(RaFFM)の適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-30T04:31:53Z)
• VideoGLUE: Video General Understanding Evaluation of Foundation Models [89.07145427268948]
  我々は、慎重に設計された実験プロトコルを用いて、基礎モデル(FM)の映像理解能力を評価する。 一般的な映像理解タスクに適応する際のFMの目印と有効性について共同で検討する。
  論文  参考訳（メタデータ） (2023-07-06T17:47:52Z)
• Improving and generalizing flow-based generative models with minibatch optimal transport [90.01613198337833]
  連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。 CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。 我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
  論文  参考訳（メタデータ） (2023-02-01T14:47:17Z)
• Boosting Factorization Machines via Saliency-Guided Mixup [125.15872106335692]
  我々は、MixupにインスパイアされたMixFMを紹介し、ファクトリゼーションマシン(FM)を強化するための補助的なトレーニングデータを生成する。 また、Saliency-Guided Mixup(SMFM)を利用した新しいファクトリゼーションマシンも提案した。
  論文  参考訳（メタデータ） (2022-06-17T09:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。