論文の概要: Large Language Model Federated Learning with Blockchain and Unlearning for Cross-Organizational Collaboration

• arxiv url: http://arxiv.org/abs/2412.13551v1
• Date: Wed, 18 Dec 2024 06:56:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 13:22:37.610604
• Title: Large Language Model Federated Learning with Blockchain and Unlearning for Cross-Organizational Collaboration
• Title（参考訳）: クロスオーガナイゼーションコラボレーションのためのブロックチェーンとアンラーニングを用いた大規模言語モデルフェデレーション学習
• Authors: Xuhan Zuo, Minghao Wang, Tianqing Zhu, Shui Yu, Wanlei Zhou,
• Abstract要約: 大規模言語モデル(LLM)は、コンピュータが人間の言語を理解し、処理する方法を変えてきたが、それらを様々な組織で効果的に利用することは難しいままである。 パブリックとプライベートのブロックチェーンアーキテクチャとマルチエージェント強化学習を組み合わせた,ハイブリッドブロックチェーンベースのフェデレーション学習フレームワークを提案する。 当社のフレームワークは,プライベートチェーンの機密計算を保護しながら,パブリックブロックチェーンを通じてモデル更新の透過的な共有を可能にする。
• 参考スコア（独自算出の注目度）: 18.837908762300493
• License:
• Abstract: Large language models (LLMs) have transformed the way computers understand and process human language, but using them effectively across different organizations remains still difficult. When organizations work together to improve LLMs, they face several main challenges. First, organizations hesitate to share their valuable data with others. Second, competition between organizations creates trust problems during collaboration. Third, new privacy laws require organizations to be able to delete specific data when requested, which is especially difficult when multiple organizations are learning from shared data. Traditional federated learning approaches do not address these interconnected challenges, particularly in scenarios where participants cannot fully trust each other or the central aggregator. To overcome these limitations, we propose a hybrid blockchain-based federated learning framework that uniquely combines public and private blockchain architectures with multi-agent reinforcement learning. Our framework enables transparent sharing of model update through the public blockchain while protecting sensitive computations in private chains. Each organization operates as an intelligent agent, using Q-learning to optimize its participation strategy and resource allocation, thus aligning individual incentives with collective goals. Notably, we introduce an efficient unlearning mechanism based on Low-Rank Adaptation (LoRA) that enables selective removal of specific data contributions without compromising the model's overall performance. Through extensive experimentation on real-world datasets, we demonstrate that our framework effectively balances privacy protection, trust establishment, and regulatory compliance while maintaining high model performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コンピュータが人間の言語を理解し、処理する方法を変えてきたが、それらを様々な組織で効果的に利用することは依然として困難である。 組織がLLMを改善するために協力することで、いくつかの大きな課題に直面します。 まず、組織は貴重なデータを他の人と共有することをためらう。 第2に、組織間の競争は、コラボレーション中に信頼上の問題を生み出します。 第3に,新たなプライバシ法では,要求された時に特定のデータを削除できることが求められている。 従来の連合学習アプローチは、特に参加者が互いに完全に信頼できないシナリオや中心的なアグリゲータにおいて、これらの相互接続された課題に対処しない。 これらの制限を克服するために、パブリックとプライベートのブロックチェーンアーキテクチャとマルチエージェント強化学習を一意に組み合わせた、ハイブリッドブロックチェーンベースのフェデレーション学習フレームワークを提案する。 当社のフレームワークは,プライベートチェーンの機密計算を保護しながら,パブリックブロックチェーンを通じてモデル更新の透過的な共有を可能にする。 各組織は知的エージェントとして機能し、Qラーニングを使用して参加戦略とリソース割り当てを最適化し、個々のインセンティブを集合目標と整合させる。 特に,Low-Rank Adaptation(LoRA)に基づく効率的なアンラーニング機構を導入し,モデル全体の性能を損なうことなく,特定のデータコントリビューションを選択的に除去する。 実世界のデータセットに関する広範な実験を通じて、我々のフレームワークは、高いモデル性能を維持しながら、プライバシー保護、信頼確立、規制コンプライアンスを効果的にバランスさせることを実証する。

関連論文リスト

• Federated TrustChain: Blockchain-Enhanced LLM Training and Unlearning [22.33179965773829]
  大規模言語モデル(LLM)のためのブロックチェーンベースの新しいフェデレーション学習フレームワークを提案する。 我々のフレームワークはブロックチェーン技術を活用して、各モデルのコントリビューションの改ざん防止記録を作成し、フェデレートされた学習メカニズムをシームレスに統合する革新的なアンラーニング機能を導入しています。
  論文  参考訳（メタデータ） (2024-06-06T13:44:44Z)
• Personalized Wireless Federated Learning for Large Language Models [75.22457544349668]
  大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。 無線ネットワークへの展開は、プライバシとセキュリティ保護機構の欠如など、依然として課題に直面している。 通信オーバーヘッドの少ない2つのパーソナライズされた無線フェデレーションファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-04-20T02:30:21Z)
• Differentially Private Low-Rank Adaptation of Large Language Model Using Federated Learning [32.52811740662061]
  本稿では,大規模言語モデル(LLM)に適した新しいフェデレーション学習アルゴリズムDP-LoRAを紹介する。 DP-LoRAは、重み付け更新のノイズを追加し、データプライバシを個別に維持しつつ、協調的なモデルトレーニングを容易にするガウス機構を使用することで、データのプライバシを保存する。
  論文  参考訳（メタデータ） (2023-12-29T06:50:38Z)
• Personalized Federated Learning with Attention-based Client Selection [57.71009302168411]
  我々は,意図に基づくクライアント選択機構を備えた新しいPFLアルゴリズムであるFedACSを提案する。 FedACSは、類似したデータ分散を持つクライアント間のコラボレーションを強化するためのアテンションメカニズムを統合している。 CIFAR10とFMNISTの実験は、FedACSの優位性を検証する。
  論文  参考訳（メタデータ） (2023-12-23T03:31:46Z)
• Blockchain-Based Federated Learning: Incentivizing Data Sharing and Penalizing Dishonest Behavior [0.0]
  本稿では,フェデレートラーニングにおけるデータ信頼を,InterPlanetary File System,ブロックチェーン,スマートコントラクトと統合する包括的フレームワークを提案する。 提案モデルは,データ共有プロセスの安全性と公平性を確保しつつ,フェデレーション学習モデルの精度向上に有効である。 研究論文では、MNISTデータセット上でCNNモデルをトレーニングした分散化したフェデレーション学習プラットフォームについても紹介する。
  論文  参考訳（メタデータ） (2023-07-19T23:05:49Z)
• Federated Learning-Empowered AI-Generated Content in Wireless Networks [58.48381827268331]
  フェデレートドラーニング(FL)は、学習効率を改善し、AIGCのプライバシー保護を達成するために利用することができる。 我々は,AIGCの強化を目的としたFLベースの技術を提案し,ユーザが多様でパーソナライズされた高品質なコンテンツを作成できるようにすることを目的とする。
  論文  参考訳（メタデータ） (2023-07-14T04:13:11Z)
• FedDBL: Communication and Data Efficient Federated Deep-Broad Learning for Histopathological Tissue Classification [65.7405397206767]
  本稿では,FedDBL(Federated Deep-Broad Learning)を提案する。 FedDBLは1ラウンドの通信と限られたトレーニングサンプルで競合相手をはるかに上回り、マルチラウンドの通信で同等のパフォーマンスを達成している。 異なるクライアント間でのデータやディープモデルを共有しないため、プライバシ問題は十分に解決されており、モデルのセキュリティはモデル反転攻撃のリスクなしに保証される。
  論文  参考訳（メタデータ） (2023-02-24T14:27:41Z)
• Privacy-Preserving Joint Edge Association and Power Optimization for the Internet of Vehicles via Federated Multi-Agent Reinforcement Learning [74.53077322713548]
  プライバシ保護型共同エッジアソシエーションと電力配分問題について検討する。 提案されたソリューションは、最先端のソリューションよりも高いプライバシレベルを維持しながら、魅力的なトレードオフにぶつかる。
  論文  参考訳（メタデータ） (2023-01-26T10:09:23Z)
• Sotto Voce: Federated Speech Recognition with Differential Privacy Guarantees [0.761963751158349]
  音声データは収集するのに高価で、情報源に非常に敏感です。 組織が独立して自身の使用のために小さなデータセットを収集している場合が多いが、マシンラーニングの要求に対してパフォーマンスが低い場合も少なくない。 しかし、明快なデータ共有は、知的財産の喪失とデータセットに存在する個人のプライバシーの喪失という点で、非常に危険なリスクを伴っている。
  論文  参考訳（メタデータ） (2022-07-16T02:48:54Z)
• Personalization Improves Privacy-Accuracy Tradeoffs in Federated Optimization [57.98426940386627]
  局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。 合成および実世界のデータセットに関する実験により理論的結果について述べる。
  論文  参考訳（メタデータ） (2022-02-10T20:44:44Z)
• Decentralized Federated Learning through Proxy Model Sharing [15.749416770494708]
  本稿では,ProxyFLと呼ばれる分散化フェデレーション学習のための通信効率向上手法を提案する。 我々は、ProxyFLが通信オーバーヘッドをはるかに少なくし、より強力なプライバシーを持つ既存の選択肢よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-22T16:47:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。