論文の概要: The Art of Mixology: Mixup-based Obfuscation for Privacy-Preserving Split Learning in Large Language Models
- arxiv url: http://arxiv.org/abs/2606.16801v1
- Date: Mon, 15 Jun 2026 14:42:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:34.64328
- Title: The Art of Mixology: Mixup-based Obfuscation for Privacy-Preserving Split Learning in Large Language Models
- Title（参考訳）: 混合学の技法:大規模言語モデルにおけるプライバシ保護スプリット学習のための混在型難読化
- Authors: Chen Chen, Xiang Gao, Xianshun Wang, Chengran Li, Shengyu Xia, Xueluan Gong, Linru Zhang, Qian Wang, Kwok-Yan Lam,
- Abstract要約: MIXGUARDは、大規模言語モデルのためのプライバシー保護のための分割学習フレームワークである。
トークンレベルの難読化、表現レベルの難読化、適応的な勾配化機構は、有用な学習信号を保持するために共同で動作する。
我々は,複数のLLMファミリ,モデルサイズ,アーキテクチャ,微調整戦略の4つの分類タスクと4つのテキスト生成タスクについて実験を行った。
- 参考スコア（独自算出の注目度）: 25.91253902620787
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Split learning provides a practical paradigm for resource-constrained users to train Large Language Models (LLMs) by offloading computation-intensive layers to a server while keeping raw data local. However, existing privacy-preserving split learning methods still face a difficult trade-off among utility, privacy, efficiency, and stability. Specifically, these methods often suffer from substantial utility degradation, remain vulnerable to advanced data reconstruction attacks, incur prohibitive computational and communication overhead, or exhibit unstable performance across different tasks. In this paper, we propose MIXGUARD, a novel mixup-based privacy-preserving split learning framework for LLMs. MIXGUARD introduces token-level obfuscation, representation-level obfuscation, and adaptive gradient perturbation mechanisms, which operate jointly to preserve useful learning signals while preventing privacy leakage to the server. Technically, MIXGUARD first constructs a lightweight calibration model on a public dataset to refine the approximated target representation, and then applies this model during privacy-preserving fine-tuning on private data. We conduct extensive experiments on four classification tasks and four text generation tasks across multiple LLM families, model sizes, architectures, and fine-tuning strategies. The results show that MIXGUARD preserves model utility comparable to non-split training baselines, consistently achieves stronger privacy protection than existing split learning defense methods against state-of-the-art data reconstruction attacks, and remains robust under adaptive attack settings.
- Abstract（参考訳）: 分散学習は、計算集約的なレイヤをサーバにオフロードし、生データをローカルに保持することで、リソース制約のあるユーザがLarge Language Models(LLM)をトレーニングするための実践的なパラダイムを提供する。
しかし、既存のプライバシー保護分割学習手法は、ユーティリティ、プライバシ、効率、安定性のトレードオフが難しい。
具体的には、これらの手法は、しばしば実質的な実用上の劣化に悩まされ、高度なデータ再構成攻撃に弱いままであり、不正な計算と通信のオーバーヘッドを発生させたり、異なるタスク間で不安定な性能を示す。
本稿では,LLMのための新しい混合型プライバシ保存型分割学習フレームワークMIXGUARDを提案する。
MIXGUARDはトークンレベルの難読化、表現レベルの難読化、適応的な勾配摂動機構を導入し、サーバへのプライバシー漏洩を防止しながら、有用な学習信号を保存する。
技術的には、MIXGUARDはまずパブリックデータセット上に軽量なキャリブレーションモデルを構築し、近似されたターゲット表現を洗練させ、その後、プライバシ保護のためのプライベートデータの微調整中にこのモデルを適用する。
我々は、複数のLLMファミリー、モデルサイズ、アーキテクチャ、微調整戦略の4つの分類タスクと4つのテキスト生成タスクについて広範な実験を行った。
その結果、MIXGUARDは、非分割トレーニングベースラインに匹敵するモデルユーティリティを保持し、最先端のデータ再構成攻撃に対する既存の分割学習防御手法よりも強力なプライバシ保護を一貫して達成し、適応攻撃設定下でも堅牢であることがわかった。
関連論文リスト
- Deep Leakage with Generative Flow Matching Denoiser [54.05993847488204]
再建プロセスに先立って生成フローマッチング(FM)を組み込んだ新しい深部リーク攻撃(DL)を導入する。
当社のアプローチは、ピクセルレベル、知覚的、特徴に基づく類似度測定において、最先端の攻撃よりも一貫して優れています。
論文 参考訳（メタデータ） (2026-01-21T14:51:01Z) - Federated Learning Meets LLMs: Feature Extraction From Heterogeneous Clients [0.0]
フェデレートラーニング(FL)は、生データを共有せずに協調的なモデルトレーニングを可能にする。
我々は,事前学習された大規模言語モデル(LLM)を普遍的特徴抽出器として利用するフレームワークであるFedLLM-Alignを提案する。
冠動脈疾患予測におけるFedLLM-Alignの評価は,シミュレートされたスキーマ分岐を用いた分割データセットを用いて行われる。
論文 参考訳（メタデータ） (2025-09-29T14:06:52Z) - Towards Privacy-Preserving and Heterogeneity-aware Split Federated Learning via Probabilistic Masking [16.758567358839294]
スプリット・フェデレート・ラーニング(SFL)は、従来のフェデレート・ラーニング(FL)に代わる効果的な代替手段として登場した。
本稿では,確率的マスクトレーニングを取り入れたスケーラブルかつプライバシ保護型SFLフレームワークPM-SFLを提案する。
画像および無線センシングタスクの実験は、PM-SFLが一貫して精度、通信効率、プライバシー攻撃を改善することを示した。
論文 参考訳（メタデータ） (2025-09-18T04:28:08Z) - PC-MoE: Memory-Efficient and Privacy-Preserving Collaborative Training for Mixture-of-Experts LLMs [56.04036826558497]
プライバシー保護型コラボレーション・オブ・エクササイズ(PC-MoE)を紹介する。
設計上、PC-MoEは分散計算の強みと強い機密性の保証を相乗的に組み合わせている。
完全に集中したモデルのパフォーマンスと収束率とほぼ一致(時には超える)し、70%近いピークのGPURAMの削減を享受し、再構築攻撃に対して完全に堅牢である。
論文 参考訳（メタデータ） (2025-06-03T15:00:18Z) - Tokens for Learning, Tokens for Unlearning: Mitigating Membership Inference Attacks in Large Language Models via Dual-Purpose Training [13.680205342714412]
大規模言語モデル(LLM)は、現代の自然言語処理のバックボーンとなっているが、センシティブなトレーニングデータの漏洩に関するプライバシー上の懸念を生じさせている。
本稿では,トークン固有の特徴を活用して,言語モデルのトレーニングデータを保護するための,軽量かつ効果的な経験的プライバシ保護手法である methodname を提案する。
論文 参考訳（メタデータ） (2025-02-27T03:37:45Z) - FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。
FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。
本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
論文 参考訳（メタデータ） (2024-03-10T08:41:22Z) - Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。
このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。
データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-31T03:35:59Z) - Recovering from Privacy-Preserving Masking with Large Language Models [14.828717714653779]
マスク付きトークンの代わりに大きな言語モデル(LLM)を提案する。
難読化コーパスでトレーニングしたモデルが,元のデータでトレーニングしたモデルと同等の性能を発揮することを示す。
論文 参考訳（メタデータ） (2023-09-12T16:39:41Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳（メタデータ） (2022-07-12T19:34:47Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。