Fugu-MT 論文翻訳(概要): FedPT: Federated Proxy-Tuning of Large Language Models on Resource-Constrained Edge Devices

論文の概要: FedPT: Federated Proxy-Tuning of Large Language Models on Resource-Constrained Edge Devices

arxiv url: http://arxiv.org/abs/2410.00362v1
Date: Tue, 1 Oct 2024 03:20:39 GMT
ステータス: 処理完了
システム内更新日: 2024-11-05 06:06:43.706590
Title: FedPT: Federated Proxy-Tuning of Large Language Models on Resource-Constrained Edge Devices
Title（参考訳）: FedPT:資源制約エッジデバイスにおける大規模言語モデルのフェデレーションプロキシチューニング
Authors: Zhidong Gao, Yu Zhang, Zhenxiao Zhang, Yanmin Gong, Yuanxiong Guo,
Abstract要約: textbfFederated textbfProxy-textbfTuning (FedPT)は、ブラックボックス大型LMのファインチューニングのための新しいフレームワークである。 FedPTは、競合性能を維持しながら、計算、通信、メモリオーバーヘッドを大幅に削減できる。
参考スコア（独自算出の注目度）: 10.01451891927236
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Despite demonstrating superior performance across a variety of linguistic tasks, pre-trained large language models (LMs) often require fine-tuning on specific datasets to effectively address different downstream tasks. However, fine-tuning these LMs for downstream tasks necessitates collecting data from individuals, which raises significant privacy concerns. Federated learning (FL) has emerged as the de facto solution, enabling collaborative model training without sharing raw data. While promising, federated fine-tuning of large LMs faces significant challenges, including restricted access to model parameters and high computation, communication, and memory overhead. To address these challenges, this paper introduces \textbf{Fed}erated \textbf{P}roxy-\textbf{T}uning (FedPT), a novel framework for federated fine-tuning of black-box large LMs, requiring access only to their predictions over the output vocabulary instead of their parameters. Specifically, devices in FedPT first collaboratively tune a smaller LM, and then the server combines the knowledge learned by the tuned small LM with the knowledge learned by the larger pre-trained LM to construct a large proxy-tuned LM that can reach the performance of directly tuned large LMs. The experimental results demonstrate that FedPT can significantly reduce computation, communication, and memory overhead while maintaining competitive performance compared to directly federated fine-tuning of large LMs. FedPT offers a promising solution for efficient, privacy-preserving fine-tuning of large LMs on resource-constrained devices, broadening the accessibility and applicability of state-of-the-art large LMs.
Abstract（参考訳）: 様々な言語タスクで優れたパフォーマンスを示すにもかかわらず、訓練済みの大規模言語モデル(LM)では、異なる下流タスクに効果的に対処するために、特定のデータセットを微調整する必要があることが多い。しかし、下流タスクのためにこれらのLMを微調整するには個人からのデータを収集する必要がある。フェデレーテッド・ラーニング(FL)がデファクト・ソリューションとして登場し、生データを共有せずに協調的なモデルトレーニングを可能にした。有望ながら、大きなLMのフェデレートされた微調整は、モデルパラメータへのアクセス制限や高い計算、通信、メモリオーバーヘッドなど、大きな課題に直面している。これらの課題に対処するために、黒箱型大規模LMのファインチューニングのための新しいフレームワークである \textbf{Fed}erated \textbf{P}roxy-\textbf{T}uning (FedPT)を紹介する。特に、FedPTのデバイスは、まず小さなLMを協調的にチューニングし、次にサーバは、調整された小さなLMで学んだ知識と、より大きな訓練済みLMで学んだ知識を組み合わせて、直接チューニングされた大きなLMのパフォーマンスに到達することができる大規模なプロキシチューニングされたLMを構築する。実験結果から,FedPT は計算,通信,メモリのオーバーヘッドを大幅に低減し,競争性能の維持を図っている。 FedPTは、リソース制約のあるデバイス上での大規模なLMの効率的かつプライバシー保護的な微調整のための有望なソリューションを提供し、最先端の大規模LMのアクセシビリティと適用性を広げている。

関連論文リスト

FedDTPT: Federated Discrete and Transferable Prompt Tuning for Black-Box Large Language Models [14.719919025265224]
特定のシナリオからのデータを調整した大きな言語モデル(LLM)は、プライバシリークのリスクを引き起こす。ブラックボックス大言語モデルに対して,フェデレートされた離散的かつ転送可能なプロンプトチューニングであるFedDTPTを初めて提案する。提案手法は,ブラックボックス設定における非IDデータに対する高い精度,通信オーバーヘッドの低減,ロバスト性を実現する。
論文参考訳（メタデータ） (2024-11-01T19:19:23Z)
Communication-Efficient and Tensorized Federated Fine-Tuning of Large Language Models [24.07770417615704]
大規模言語モデルの適応手法であるFedTTとFedTT+を紹介する。 FedTTは汎用的で、クロスサイロFLと大規模クロスデバイスFLの両方に適用できる。提案手法は,データ不均一性の問題に対処し,既存のPEFT手法よりも同等あるいはそれ以上の精度で処理する。
論文参考訳（メタデータ） (2024-10-16T23:50:39Z)
R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
論文参考訳（メタデータ） (2024-07-16T12:21:29Z)
Reliable, Adaptable, and Attributable Language Models with Retrieval [144.26890121729514]
パラメトリック言語モデル(LM)は大量のWebデータに基づいて訓練されている。幻覚、新しいデータ分布への適応の困難、妥当性の欠如など、実践的な課題に直面している。我々は、次世代のLMとしてパラメトリックLMを置き換えるための検索拡張LMを提唱する。
論文参考訳（メタデータ） (2024-03-05T18:22:33Z)
MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
論文参考訳（メタデータ） (2024-02-26T18:59:03Z)
Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
論文参考訳（メタデータ） (2023-12-11T13:03:21Z)
FedBPT: Efficient Federated Black-box Prompt Tuning for Large Language Models [22.29061931122386]
プレトレーニング言語モデル (PLM) はNLPのランドスケープに革命をもたらし、様々なタスクで星間パフォーマンスを実現している。本稿では,これらの課題に対処するためのフレームワークであるFederated Black-box Prompt Tuning(FedBPT)を紹介する。
論文参考訳（メタデータ） (2023-10-02T16:43:14Z)
Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文参考訳（メタデータ） (2023-09-13T04:06:47Z)
FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文参考訳（メタデータ） (2023-09-01T09:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。