論文の概要: FedPEAT: Convergence of Federated Learning, Parameter-Efficient Fine Tuning, and Emulator Assisted Tuning for Artificial Intelligence Foundation Models with Mobile Edge Computing

• arxiv url: http://arxiv.org/abs/2310.17491v2
• Date: Wed, 28 Feb 2024 13:47:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 18:32:05.386565
• Title: FedPEAT: Convergence of Federated Learning, Parameter-Efficient Fine Tuning, and Emulator Assisted Tuning for Artificial Intelligence Foundation Models with Mobile Edge Computing
• Title（参考訳）: FedPEAT: モバイルエッジコンピューティングを用いた人工知能基礎モデルのためのフェデレーション学習の収束、パラメータ効率の良いファインチューニング、エミュレータ
• Authors: Terence Jie Chua, Wenhan Yu, Jun Zhao, Kwok-Yan Lam
• Abstract要約: Emulator-Assisted Tuning and Federated PEAT (FedPEAT)について紹介する。 FedPEATは、フェデレーションモデルチューニング、モデルのプライバシとメモリ効率の向上にアダプタ、エミュレータ、PEFTを使用している。 私たちは、サーバが協調的なチューニングに参加するというユニークなシナリオでFedPEATをテストしました。
• 参考スコア（独自算出の注目度）: 20.06372852684181
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The emergence of foundation models, including language and vision models, has reshaped AI's landscape, offering capabilities across various applications. Deploying and fine-tuning these large models, like GPT-3 and BERT, presents challenges, especially in the current foundation model era. We introduce Emulator-Assisted Tuning (EAT) combined with Parameter-Efficient Fine-Tuning (PEFT) to form Parameter-Efficient Emulator-Assisted Tuning (PEAT). Further, we expand this into federated learning as Federated PEAT (FedPEAT). FedPEAT uses adapters, emulators, and PEFT for federated model tuning, enhancing model privacy and memory efficiency. Adapters adjust pre-trained models, while emulators give a compact representation of original models, addressing both privacy and efficiency. Adaptable to various neural networks, our approach also uses deep reinforcement learning for hyper-parameter optimization. We tested FedPEAT in a unique scenario with a server participating in collaborative federated tuning, showcasing its potential in tackling foundation model challenges.
• Abstract（参考訳）: 言語とビジョンモデルを含む基礎モデルの出現は、AIのランドスケープを再構築し、さまざまなアプリケーションにまたがる機能を提供する。 GPT-3やBERTのような大規模なモデルのデプロイと微調整は、特に現在の基盤モデル時代において課題を提示している。 エミュレータ支援チューニング(eat)とパラメータ効率の細かいチューニング(peft)を組み合わせたパラメータ効率のエミュレータ支援チューニング(peat)を提案する。 さらに,これをフェデレートPEAT(FedPEAT)としてフェデレーション学習に拡張する。 FedPEATは、フェデレーションモデルチューニング、モデルのプライバシとメモリ効率の向上にアダプタ、エミュレータ、PEFTを使用している。 アダプタは事前訓練されたモデルを調整し、エミュレータはオリジナルのモデルをコンパクトに表現し、プライバシと効率の両方に対処する。 ニューラルネットワークにも適応可能で,ハイパーパラメータ最適化には深層強化学習も活用する。 私たちはFedPEATをユニークなシナリオでテストし、サーバが協調的なフェデレーションチューニングに参加し、基礎モデルの課題に取り組む可能性を示しました。

関連論文リスト

• Efficient Language Model Architectures for Differentially Private Federated Learning [21.280600854272716]
  クロスデバイス・フェデレーション・ラーニング(Cross-device Federated Learning, FL)は、デバイスを離れることなく、数百万のエッジデバイスに分散したデータ上でモデルをトレーニングするテクニックである。 言語モデルの集中的なトレーニングでは、安定性とパフォーマンスの向上を提供するため、適応が望ましい。 ニューラルリカレントセルにおけるシグモイドとタンハの活性化を修飾することにより、SI CIFG (Coupled Input Forget Gate) 再カレントネットワークを提案する。
  論文  参考訳（メタデータ） (2024-03-12T22:21:48Z)
• FedMS: Federated Learning with Mixture of Sparsely Activated Foundations Models [11.362085734837217]
  我々はFedMSと呼ばれる新しい2段階のフェデレーション学習アルゴリズムを提案する。 グローバルエキスパートは第一段階で訓練され、ローカルエキスパートは第二段階で訓練され、より良いパーソナライズを提供する。 我々はFedMSの有効性を検証するために広範囲な実験を行い、その結果、FedMSは他のSOTAベースラインを55.25%まで上回る結果となった。
  論文  参考訳（メタデータ） (2023-12-26T07:40:26Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Orchestration of Emulator Assisted Mobile Edge Tuning for AI Foundation Models: A Multi-Agent Deep Reinforcement Learning Approach [10.47302625959368]
  我々は,モバイルエッジコンピューティングと基礎モデルを統合した画期的なパラダイムを提示する。 私たちのアプローチの中心はイノベーティブなEmulator-Adapterアーキテクチャであり、基礎モデルを2つの凝集モジュールに分割する。 本稿では,分散環境におけるEmulator-Adapter構造のニーズに合わせて微調整された高度なリソース割り当て機構を提案する。
  論文  参考訳（メタデータ） (2023-10-26T15:47:51Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• Non-Intrusive Adaptation: Input-Centric Parameter-efficient Fine-Tuning for Versatile Multimodal Modeling [42.42235704360381]
  大規模言語モデル(LLM)と視覚言語モデル(VLM)は、幅広いタスクにおいて優れた性能を示す。 これらの大規模化により、関心のあるタスクを前提とした、完全に専門的なモデルへの適応と展開が不可能になる。 本研究では,AdaLinkを,競合性能を実現する非侵入型PEFT技術として記述する。
  論文  参考訳（メタデータ） (2023-10-18T16:43:08Z)
• ZooPFL: Exploring Black-box Foundation Models for Personalized Federated Learning [95.64041188351393]
  本稿では,限られた資源とパーソナライゼーションの両課題を解決しようと試みる。 個人化フェデレート学習におけるゼロ階最適化を用いたZOOPFLという手法を提案する。 計算コストの削減とパーソナライゼーションの向上を目的として,低次元およびクライアント固有の埋め込みを持つオートエンコーダを組み込む入力手術を提案する。
  論文  参考訳（メタデータ） (2023-10-08T12:26:13Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning [77.61565726647784]
  ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。 本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
  論文  参考訳（メタデータ） (2023-01-28T08:51:23Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Federated Hyperparameter Tuning: Challenges, Baselines, and Connections to Weight-Sharing [37.056834089598105]
  標準アプローチがフェデレートされた設定のベースラインにどのように適合するかを示す。 ウェイトシェアリングのニューラルアーキテクチャ検索技術に新たな接続を行うことで,新しい手法であるFedExを導入する。 理論的には、FedExの変種がオンライン凸最適化の設定においてデバイス上での学習率を正しく調整していることを示す。
  論文  参考訳（メタデータ） (2021-06-08T16:42:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。