論文の概要: LanFL: Differentially Private Federated Learning with Large Language Models using Synthetic Samples

• arxiv url: http://arxiv.org/abs/2410.19114v1
• Date: Thu, 24 Oct 2024 19:28:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:36:53.958421
• Title: LanFL: Differentially Private Federated Learning with Large Language Models using Synthetic Samples
• Title（参考訳）: LanFL: 合成サンプルを用いた大規模言語モデルによる個人的フェデレーション学習
• Authors: Huiyu Wu, Diego Klabjan,
• Abstract要約: Federated Learning(FL)は、協調的なプライバシ保護機械学習フレームワークである。 数十億から数十億のパラメータを持つ最近の強力な大規模言語モデル(LLM)の出現は、従来のFLメソッドの単純な適用を非現実的にしている。 本稿では,LanFL という新しい LLM スキームを紹介し,LanFL は純粋にプロンプトベースであり,基礎となる LLM をブラックボックスとして扱う。
• 参考スコア（独自算出の注目度）: 11.955062839855334
• License:
• Abstract: Federated Learning (FL) is a collaborative, privacy-preserving machine learning framework that enables multiple participants to train a single global model. However, the recent advent of powerful Large Language Models (LLMs) with tens to hundreds of billions of parameters makes the naive application of traditional FL methods to LLMs impractical due to high computational and communication costs. Furthermore, end users of LLMs often lack access to full architectures and weights of the models, making it impossible for participants to fine-tune these models directly. This paper introduces a novel FL scheme for LLMs, named LanFL, which is purely prompt-based and treats the underlying LLMs as black boxes. We have developed a differentially private synthetic sample generation mechanism to facilitate knowledge sharing among participants, along with a prompt optimization scheme that enables learning from synthetic samples. Our extensive experiments demonstrate that LanFL successfully facilitates learning among participants while preserving the privacy of local datasets across various tasks.
• Abstract（参考訳）: Federated Learning(FL)は、複数の参加者が単一のグローバルモデルをトレーニング可能な、協調的なプライバシ保護機械学習フレームワークである。 しかし、最近の数十億から数十億のパラメータを持つ強力な大規模言語モデル(LLM)の出現は、計算と通信のコストが高いため、従来のFL手法をLLMに適用するのは現実的ではない。 さらに、LLMのエンドユーザーは、しばしばモデルの完全なアーキテクチャや重みにアクセスできないため、参加者がこれらのモデルを直接微調整することは不可能である。 本稿では,LanFL という新しい LLM スキームを紹介し,LanFL は純粋にプロンプトベースであり,基礎となる LLM をブラックボックスとして扱う。 我々は, 参加者間の知識共有を容易にするための, 差分プライベートな合成サンプル生成機構と, 合成サンプルから学習できる迅速な最適化手法を開発した。 我々の広範な実験は、LanFLが様々なタスクにわたるローカルデータセットのプライバシーを維持しながら、参加者間の学習を円滑に行うことを実証している。

関連論文リスト

• MLLM-FL: Multimodal Large Language Model Assisted Federated Learning on Heterogeneous and Long-tailed Data [25.45278447786954]
  MLLM-FL(Multimodal Large Language Model Assisted Federated Learning)と呼ばれる新しいフェデレーション学習フレームワークを導入する。 当社のフレームワークは,Webサイトや強力なサーバサイド計算リソースからアクセス可能な,広範かつ未公開のオープンソースデータを活用することに長けています。
  論文  参考訳（メタデータ） (2024-09-09T21:04:16Z)
• Personalized Wireless Federated Learning for Large Language Models [75.22457544349668]
  大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。 無線ネットワークへの展開は、プライバシとセキュリティ保護機構の欠如など、依然として課題に直面している。 通信オーバーヘッドの少ない2つのパーソナライズされた無線フェデレーションファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-04-20T02:30:21Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• FATE-LLM: A Industrial Grade Federated Learning Framework for Large Language Models [18.65547577691255]
  大規模言語モデル(LLM)は近年,様々なタスクにおいて顕著なパフォーマンスを示している。 FATE-LLMは、大規模言語モデルのための産業レベルの連邦学習フレームワークである。 我々は、FedLLMの研究を促進するためにFATE-LLMのコードをリリースし、幅広い産業応用を可能にする。
  論文  参考訳（メタデータ） (2023-10-16T04:17:13Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• Loosely Coupled Federated Learning Over Generative Models [6.472716351335859]
  プライベートデータをアップロードすることなく、さまざまなクライアント間で協調的な機械学習を実現するために、フェデレートラーニング(FL)が提案された。 本稿では,低通信コストと不均一なフェデレーション学習を実現するために,Losely Coupled Federated Learning (LC-FL)を提案する。
  論文  参考訳（メタデータ） (2020-09-28T01:09:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。