論文の概要: Oblivionis: A Lightweight Learning and Unlearning Framework for Federated Large Language Models
- arxiv url: http://arxiv.org/abs/2508.08875v1
- Date: Tue, 12 Aug 2025 12:02:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-13 21:07:34.414491
- Title: Oblivionis: A Lightweight Learning and Unlearning Framework for Federated Large Language Models
- Title（参考訳）: Oblivionis: フェデレーションされた大規模言語モデルのための軽量学習およびアンラーニングフレームワーク
- Authors: Fuyao Zhang, Xinyu Yan, Tiantong Wu, Wenjie Li, Tianxiang Chen, Yang Cao, Ran Yan, Longtao Huang, Wei Yang Bryan Lim, Qiang Yang,
- Abstract要約: 大規模言語モデル(LLM)は、フェデレートラーニング(FL)を活用して、プライベートなタスク固有のデータセットを微調整に利用している。
Oblivionisは、クライアントが特定のプライベートデータを選択的に削除できる軽量学習およびアンラーニングフレームワークである。
- 参考スコア（独自算出の注目度）: 21.62756265484464
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) increasingly leverage Federated Learning (FL) to utilize private, task-specific datasets for fine-tuning while preserving data privacy. However, while federated LLM frameworks effectively enable collaborative training without raw data sharing, they critically lack built-in mechanisms for regulatory compliance like GDPR's right to be forgotten. Integrating private data heightens concerns over data quality and long-term governance, yet existing distributed training frameworks offer no principled way to selectively remove specific client contributions post-training. Due to distributed data silos, stringent privacy constraints, and the intricacies of interdependent model aggregation, federated LLM unlearning is significantly more complex than centralized LLM unlearning. To address this gap, we introduce Oblivionis, a lightweight learning and unlearning framework that enables clients to selectively remove specific private data during federated LLM training, enhancing trustworthiness and regulatory compliance. By unifying FL and unlearning as a dual optimization objective, we incorporate 6 FL and 5 unlearning algorithms for comprehensive evaluation and comparative analysis, establishing a robust pipeline for federated LLM unlearning. Extensive experiments demonstrate that Oblivionis outperforms local training, achieving a robust balance between forgetting efficacy and model utility, with cross-algorithm comparisons providing clear directions for future LLM development.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、フェデレートラーニング(FL)を活用して、データプライバシの保護と微調整に、プライベートなタスク固有のデータセットを活用する。
しかしながら、フェデレートされたLLMフレームワークは、生のデータ共有なしに効果的に協調的なトレーニングを可能にする一方で、GDPRの忘れられる権利のような規制コンプライアンスのためのビルトインメカニズムを欠いている。
プライベートデータの統合は、データ品質と長期的なガバナンスに対する懸念を高めるが、既存の分散トレーニングフレームワークは、トレーニング後の特定のクライアントコントリビューションを選択的に削除する原則的な方法を提供していない。
分散データサイロ、厳密なプライバシ制約、および相互依存モデル集約の複雑さのため、フェデレーション付きLLMアンラーニングは集中型LLMアンラーニングよりもはるかに複雑である。
このギャップに対処するため、私たちは、クライアントがフェデレートLDMトレーニング中に特定のプライベートデータを選択的に削除し、信頼性とコンプライアンスの強化を可能にする、軽量な学習およびアンラーニングフレームワークであるOblivionisを紹介します。
FLとアンラーニングを2つの最適化目的として統一することにより、包括的評価と比較分析のために6つのFLと5つのアンラーニングアルゴリズムを導入し、フェデレートされたLLMアンラーニングのための堅牢なパイプラインを確立する。
大規模な実験により、Oblivionisは局所的な訓練よりも優れており、忘れる効果とモデルの有用性のバランスをしっかりと達成している。
関連論文リスト
- Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。
我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
論文 参考訳（メタデータ） (2025-06-30T02:56:11Z) - Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。
本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
論文 参考訳（メタデータ） (2025-01-08T11:37:06Z) - Federated In-Context LLM Agent Learning [3.4757641432843487]
大規模言語モデル(LLM)は、論理的推論、ツールの使用、エージェントとしての外部システムとの相互作用を可能にすることによって、インテリジェントなサービスに革命をもたらした。
本稿では,プライバシ保護型フェデレーション・イン・コンテクスト LLM Agent Learning (FICAL) アルゴリズムを提案する。
その結果、FICALは、他のSOTAベースラインと比較して競争性能が優れており、通信コストの大幅な削減は、$mathbf3.33times105$倍であることがわかった。
論文 参考訳（メタデータ） (2024-12-11T03:00:24Z) - eFedLLM: Efficient LLM Inference Based on Federated Learning [1.6179784294541053]
大言語モデル(LLMs)は人工知能(AI)の転換期を告げる
本稿では, LLM推論の運用効率と費用対効果を高める効果的な手法を提案する。
論文 参考訳（メタデータ） (2024-11-24T22:50:02Z) - A Little Help Goes a Long Way: Efficient LLM Training by Leveraging Small LMs [74.35290684163718]
大規模言語モデル(LLM)開発における最大の課題は、その面倒な事前トレーニングコストである。
本稿では,小言語モデル(SLM)を活用して,LLMの事前学習効率と品質を改善するための有望なパラダイムについて検討する。
論文 参考訳（メタデータ） (2024-10-24T14:31:52Z) - Differentially Private Low-Rank Adaptation of Large Language Model Using Federated Learning [32.52811740662061]
本稿では,大規模言語モデル(LLM)に適した新しいフェデレーション学習アルゴリズムDP-LoRAを紹介する。
DP-LoRAは、重み付け更新のノイズを追加し、データプライバシを個別に維持しつつ、協調的なモデルトレーニングを容易にするガウス機構を使用することで、データのプライバシを保存する。
論文 参考訳（メタデータ） (2023-12-29T06:50:38Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳（メタデータ） (2023-09-01T09:40:36Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳（メタデータ） (2023-08-23T09:45:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。