論文の概要: PrivateLoRA For Efficient Privacy Preserving LLM
- arxiv url: http://arxiv.org/abs/2311.14030v1
- Date: Thu, 23 Nov 2023 14:36:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-27 23:31:15.793004
- Title: PrivateLoRA For Efficient Privacy Preserving LLM
- Title(参考訳): 効率的なプライバシー保護のためのPrivateLoRA
- Authors: Yiming Wang, Yu Lin, Xiaodong Zeng, Guannan Zhang
- Abstract要約: 本稿では,エッジデバイス上でプライバシに敏感な計算を分散し,クラウド上で共有する,新たなLarge Language Model(LLM)サービスパラダイムを提案する。
私たちの中心となるイノベーションであるPrivateLoRAは、残余のアクティベーションの低いレベルを活用することで、困難な通信オーバーヘッドに対処しています。
標準的な5Gネットワークの下では、PrivateLoRAは、7Bモデルのデバイスのみのソリューションの300%以上、33BモデルのA100 GPUの80%以上のスループットを実現している。
- 参考スコア(独自算出の注目度): 20.750808913757396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: End users face a choice between privacy and efficiency in current Large
Language Model (LLM) service paradigms. In cloud-based paradigms, users are
forced to compromise data locality for generation quality and processing speed.
Conversely, edge device paradigms maintain data locality but fail to deliver
satisfactory performance. In this work, we propose a novel LLM service paradigm
that distributes privacy-sensitive computation on edge devices and shared
computation in the cloud. Only activations are transmitted between the central
cloud and edge devices to ensure data locality. Our core innovation,
PrivateLoRA, addresses the challenging communication overhead by exploiting the
low rank of residual activations, achieving over 95% communication reduction.
Consequently, PrivateLoRA effectively maintains data locality and is extremely
resource efficient. Under standard 5G networks, PrivateLoRA achieves throughput
over 300% of device-only solutions for 7B models and over 80% of an A100 GPU
for 33B models. PrivateLoRA also provides tuning performance comparable to LoRA
for advanced personalization. Our approach democratizes access to
state-of-the-art generative AI for edge devices, paving the way for more
tailored LLM experiences for the general public. To our knowledge, our proposed
framework is the first efficient and privacy-preserving LLM solution in the
literature.
- Abstract(参考訳): エンドユーザは、現在のLarge Language Model(LLM)サービスのパラダイムにおいて、プライバシと効率の選択肢に直面します。
クラウドベースのパラダイムでは、ユーザは生成品質と処理速度のためにデータのローカリティを妥協せざるを得ない。
逆にエッジデバイスのパラダイムはデータのローカリティを維持しているが、十分なパフォーマンスを提供できない。
本研究では,エッジデバイス上にプライバシに敏感な計算を分散し,クラウド上での共有計算を行うLLMサービスパラダイムを提案する。
アクティベーションだけが中央クラウドとエッジデバイス間で送信され、データのローカリティが保証される。
私たちの中心となるイノベーションであるPrivateLoRAは、残余アクティベーションの低いレベルを活用し、95%以上の通信削減を実現することで、困難な通信オーバーヘッドに対処しています。
その結果、PrivateLoRAはデータのローカリティを効果的に維持し、非常にリソース効率が高い。
標準的な5gネットワークでは、privateloraは7bモデルではデバイスのみのソリューションの300%、33bモデルではa100 gpuの80%以上のスループットを実現している。
PrivateLoRAはまた、高度なパーソナライゼーションのためのLoRAに匹敵するチューニングパフォーマンスを提供する。
我々のアプローチは、最先端デバイスのための最先端のジェネレーティブAIへのアクセスを民主化し、一般向けによりカスタマイズされたLLM体験を実現する。
我々の知る限り、我々の提案するフレームワークは文献における最初の効率的かつプライバシー保護のLLMソリューションである。
関連論文リスト
- Privacy-Preserving, Dropout-Resilient Aggregation in Decentralized Learning [3.9166000694570076]
分散学習(DL)は、集中集約なしでクライアントにトレーニングを分散することで、機械学習の新たなパラダイムを提供する。
DLのピアツーピアモデルは、推論攻撃やプライバシリークを防ぐための課題を提起する。
本研究は,プライバシ保護DLのための3つの秘密共有型ドロップアウトレジリエンスアプローチを提案する。
論文 参考訳(メタデータ) (2024-04-27T19:17:02Z) - DLoRA: Distributed Parameter-Efficient Fine-Tuning Solution for Large Language Model [17.688874383440208]
DLoRAと呼ばれる分散パラメータ効率の微調整フレームワークを提案する。
DLoRAはスケーラブルなPEFT操作をクラウドとユーザデバイス間で協調的に実行可能にする。
DLoRAは、ユーザのデバイス上での計算と通信の負荷を大幅に低減し、精度とプライバシ保護に優れることを示す。
論文 参考訳(メタデータ) (2024-04-08T04:14:02Z) - MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。
本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
論文 参考訳(メタデータ) (2024-02-26T18:59:03Z) - Free Lunch for Federated Remote Sensing Target Fine-Grained
Classification: A Parameter-Efficient Framework [23.933367972846312]
本稿では、PRFLと呼ばれるフェデレートラーニングに基づく新しいプライバシー保護TFGCフレームワークを提案する。
4つの公開データセットを活用することにより,従来のTFGCタスクにおけるPRFLの有効性を示す。
論文 参考訳(メタデータ) (2024-01-03T01:45:00Z) - Differentially Private Low-Rank Adaptation of Large Language Model Using
Federated Learning [36.19569583225485]
本稿では,大規模言語モデル(LLM)に適した新しいフェデレーション学習アルゴリズムDP-LoRAを紹介する。
DP-LoRAは、重み付け更新のノイズを追加し、データプライバシを個別に維持しつつ、協調的なモデルトレーニングを容易にするガウス機構を使用することで、データのプライバシを保存する。
論文 参考訳(メタデータ) (2023-12-29T06:50:38Z) - Democratizing LLMs: An Exploration of Cost-Performance Trade-offs in
Self-Refined Open-Source Models [53.859446823312126]
SoTAは7Bから65Bまでのさまざまなサイズのオープンソースモデルを平均して、ベースラインのパフォーマンスから8.2%改善している。
厳密に言えば、Vicuna-7Bのような非常に小さなメモリフットプリントを持つモデルでさえ、全体的な11.74%の改善と、高い創造性、オープンエンドタスクの25.39%の改善を示している。
論文 参考訳(メタデータ) (2023-10-11T15:56:00Z) - Efficient Federated Prompt Tuning for Black-box Large Pre-trained Models [62.838689691468666]
我々は,各ローカルデータセットを最適に活用するためのフェデレートブラックボックス・プロンプト・チューニング(Fed-BBPT)を提案する。
Fed-BBPTは、ローカルユーザーがレギュラーアグリゲーションを通じてプロンプトジェネレータを協調的に訓練するのを支援する中央サーバーに重点を置いている。
大規模な微調整とは対照的に、Fed-BBPTは、PTMストレージとローカルマシンの微調整に関連するメモリの課題を、十分にサイドステップで解決している。
論文 参考訳(メタデータ) (2023-10-04T19:30:49Z) - FusionAI: Decentralized Training and Deploying LLMs with Massive
Consumer-Level GPUs [57.12856172329322]
我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。
このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
論文 参考訳(メタデータ) (2023-09-03T13:27:56Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳(メタデータ) (2023-05-24T13:44:02Z) - Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。
データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
論文 参考訳(メタデータ) (2022-05-08T14:38:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。