論文の概要: Differentially Private Low-Rank Adaptation of Large Language Model Using
Federated Learning
- arxiv url: http://arxiv.org/abs/2312.17493v1
- Date: Fri, 29 Dec 2023 06:50:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-02 12:46:33.631596
- Title: Differentially Private Low-Rank Adaptation of Large Language Model Using
Federated Learning
- Title(参考訳): フェデレート学習を用いた大規模言語モデルの微分プライベート低ランク適応
- Authors: Xiao-Yang Liu, Rongyi Zhu, Daochen Zha, Jiechao Gao, Shan Zhong,
Meikang Qiu
- Abstract要約: 本稿では,大規模言語モデル(LLM)に適した新しいフェデレーション学習アルゴリズムDP-LoRAを紹介する。
DP-LoRAは、重み付け更新のノイズを追加し、データプライバシを個別に維持しつつ、協調的なモデルトレーニングを容易にするガウス機構を使用することで、データのプライバシを保存する。
- 参考スコア(独自算出の注目度): 36.19569583225485
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The surge in interest and application of large language models (LLMs) has
sparked a drive to fine-tune these models to suit specific applications, such
as finance and medical science. However, concerns regarding data privacy have
emerged, especially when multiple stakeholders aim to collaboratively enhance
LLMs using sensitive data. In this scenario, federated learning becomes a
natural choice, allowing decentralized fine-tuning without exposing raw data to
central servers. Motivated by this, we investigate how data privacy can be
ensured in LLM fine-tuning through practical federated learning approaches,
enabling secure contributions from multiple parties to enhance LLMs. Yet,
challenges arise: 1) despite avoiding raw data exposure, there is a risk of
inferring sensitive information from model outputs, and 2) federated learning
for LLMs incurs notable communication overhead. To address these challenges,
this article introduces DP-LoRA, a novel federated learning algorithm tailored
for LLMs. DP-LoRA preserves data privacy by employing a Gaussian mechanism that
adds noise in weight updates, maintaining individual data privacy while
facilitating collaborative model training. Moreover, DP-LoRA optimizes
communication efficiency via low-rank adaptation, minimizing the transmission
of updated weights during distributed training. The experimental results across
medical, financial, and general datasets using various LLMs demonstrate that
DP-LoRA effectively ensures strict privacy constraints while minimizing
communication overhead.
- Abstract(参考訳): 大型言語モデル(LLM)の関心の高まりと応用は、金融や医学などの特定の応用に適合するように、これらのモデルを微調整するきっかけとなった。
しかし、データプライバシに関する懸念は、特に複数の利害関係者が機密データを使用してLLMを協調的に強化しようとするときに現れている。
このシナリオでは、連合学習は自然な選択となり、生データを中央サーバに公開することなく、分散微調整を可能にする。
そこで本研究では,LLMにおけるデータプライバシを,実践的なフェデレーション学習アプローチを通じて微調整し,複数のパーティからのセキュアなコントリビューションによるLLMの強化を実現する方法について検討する。
しかし、課題が生じる。
1)生データ露出を避けつつも、モデル出力からセンシティブな情報を推測するリスクがある。
2) LLM の連合学習は, 通信オーバーヘッドが顕著である。
これらの課題に対処するために,本論文では,LLMに適した新しいフェデレーション学習アルゴリズムDP-LoRAを紹介する。
dp-loraは、重み付け更新にノイズを追加し、個々のデータプライバシを維持しながら、協調的なモデルトレーニングを促進するガウス機構を採用することで、データのプライバシを保護する。
さらに、DP-LoRAは、低ランク適応による通信効率を最適化し、分散トレーニング中の更新重みの伝達を最小化する。
様々なLCMを用いた医療、財務、一般データセットにわたる実験結果から、DP-LoRAは通信オーバーヘッドを最小限にしつつ、厳格なプライバシー制約を効果的に保証することを示した。
関連論文リスト
- FedPIT: Towards Privacy-preserving and Few-shot Federated Instruction
Tuning [39.348555094457474]
フェデレーション・インストラクション・チューニング(FedIT)は、プライバシを保護しながら、複数のデータオーナからのフェデレーション・ラーニングを活用するソリューションとして登場した。
我々は,LLMのコンテキスト内学習機能を利用して,タスク固有の合成データを自己生成して自律的に学習する,新しいフェデレーションアルゴリズムであるFedPITを提案する。
本手法では,データ抽出攻撃を効果的に抑えるため,パラメータ分離学習を用いて,合成データと拡張局所データで訓練された局所パラメータのグローバルパラメータを維持できる。
論文 参考訳(メタデータ) (2024-03-10T08:41:22Z) - Unmemorization in Large Language Models via Self-Distillation and
Deliberate Imagination [58.36408867180233]
大規模言語モデル(LLM)は、プライバシー侵害や機密データの不要な露出といった重要な問題に苦慮している。
我々は、LLMアンラーニングの文脈において、意図的な想像力という新しいアプローチを導入する。
本研究は,異なるモデルとサイズにまたがるこのアプローチの有用性を示し,パラメータ効率の良い微調整を行った。
論文 参考訳(メタデータ) (2024-02-15T16:21:14Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language
Models [56.84735912476625]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳(メタデータ) (2024-01-02T18:53:13Z) - Curated LLM: Synergy of LLMs and Data Curation for tabular augmentation
in ultra low-data regimes [62.94611066903098]
本稿では,Large Language Models (LLMs) の知識を低データ構造におけるデータ拡張に活用したCLLMを紹介する。
従来のジェネレータと比較して,低データ方式におけるCLLMの優れた性能を示す。
論文 参考訳(メタデータ) (2023-12-19T12:34:46Z) - Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。
このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。
データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-31T03:35:59Z) - FATE-LLM: A Industrial Grade Federated Learning Framework for Large
Language Models [18.65547577691255]
大規模言語モデル(LLM)は近年,様々なタスクにおいて顕著なパフォーマンスを示している。
FATE-LLMは、大規模言語モデルのための産業レベルの連邦学習フレームワークである。
我々は、FedLLMの研究を促進するためにFATE-LLMのコードをリリースし、幅広い産業応用を可能にする。
論文 参考訳(メタデータ) (2023-10-16T04:17:13Z) - Large Language Models Can Be Good Privacy Protection Learners [53.07930843882592]
本稿では,プライバシ保護言語モデル(PPLM)を紹介する。
本研究は, コーパスキュレーション, ペナルティに基づくトレーニング損失の相違, 命令に基づくチューニングなど, モデル設計の理論的解析を行う。
特に、肯定的な例と否定的な例の両方による命令チューニングは、モデルの知識を高めながら、個人データを効果的に保護する、有望な方法として際立っている。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳(メタデータ) (2023-09-01T09:40:36Z) - Differentially Private Vertical Federated Learning [14.690310701654827]
本稿では,個々の組織データのプライバシーを,差分プライバシー(DP)設定で保護する方法を検討する。
以上の結果から,垂直FL性能とプライバシ保護のバランスをとるためには,トレードオフ点を見つける必要があることが示唆された。
論文 参考訳(メタデータ) (2022-11-13T01:24:38Z) - Differentially Private Decoding in Large Language Models [14.221692239892207]
本稿では,復号段階で既に訓練済みのモデルに適用可能な,単純で分かり易く,計算的に軽量な摂動機構を提案する。
我々の摂動メカニズムはモデルに依存しず、どんな大規模言語モデルとも併用することができる。
論文 参考訳(メタデータ) (2022-05-26T20:50:58Z) - Privacy-preserving Transfer Learning via Secure Maximum Mean Discrepancy [15.145214895007134]
本稿では,同型暗号に基づくSMMD(Maximum Mean Discrepancy)のセキュアバージョンを提案する。
提案したSMMDは、ソースとターゲットデータ分布を整列させる際に、転送学習における潜在的な情報漏洩を回避することができる。
論文 参考訳(メタデータ) (2020-09-24T13:34:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。