Fugu-MT 論文翻訳(概要): MPU: Towards Secure and Privacy-Preserving Knowledge Unlearning for Large Language Models

論文の概要: MPU: Towards Secure and Privacy-Preserving Knowledge Unlearning for Large Language Models

arxiv url: http://arxiv.org/abs/2602.23798v1
Date: Fri, 27 Feb 2026 08:39:36 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-02 19:48:24.326097
Title: MPU: Towards Secure and Privacy-Preserving Knowledge Unlearning for Large Language Models
Title（参考訳）: MPU:大規模言語モデルのセキュリティとプライバシ保護のための知識学習を目指して
Authors: Tiantong Wang, Xinyu Yan, Tiantong Wu, Yurong Hao, Yong Jiang, Fei Huang, Wei Yang Bryan Lim,
Abstract要約: MPUはアルゴリズムに依存しないプライバシ保護のためのMultiple Perturbed Copies Unlearningフレームワークである。 MPUは雑音のないベースラインに匹敵する非学習性能を実現する。
参考スコア（独自算出の注目度）: 35.51039829956271
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Machine unlearning for large language models often faces a privacy dilemma in which strict constraints prohibit sharing either the server's parameters or the client's forget set. To address this dual non-disclosure constraint, we propose MPU, an algorithm-agnostic privacy-preserving Multiple Perturbed Copies Unlearning framework that primarily introduces two server-side modules: Pre-Process for randomized copy generation and Post-Process for update aggregation. In Pre-Process, the server distributes multiple perturbed and reparameterized model instances, allowing the client to execute unlearning locally on its private forget set without accessing the server's exact original parameters. After local unlearning, the server performs Post-Process by inverting the reparameterization and aggregating updates with a harmonic denoising procedure to alleviate the impact of perturbation. Experiments with seven unlearning algorithms show that MPU achieves comparable unlearning performance to noise-free baselines, with most algorithms' average degradation well below 1% under 10% noise, and can even outperform the noise-free baseline for some algorithms under 1% noise. Code is available at https://github.com/Tristan-SHU/MPU.
Abstract（参考訳）: 大規模言語モデルの機械学習は、サーバーのパラメータやクライアントの忘れ物セットの共有を厳格に制限するプライバシージレンマに直面していることが多い。この2つの非開示制約に対処するために、MPUを提案する。これはアルゴリズムに依存しないプライバシ保護のための多重パータードコピーアンラーニングフレームワークで、主に2つのサーバサイドモジュール、すなわちランダム化されたコピー生成のためのプレプロシーズと更新アグリゲーションのためのポストプロシーズである。 Pre-Processでは、サーバは複数の摂動および再パラメータ化モデルインスタンスを配布し、クライアントはサーバーの正確な元のパラメータにアクセスすることなく、プライベートな忘れ物セットでローカルにアンラーニングを実行することができる。ローカル・アンラーニング後、サーバは再パラメータ化を反転させ、高調波復調手順で更新を集約することにより、摂動の影響を軽減する。 7つの未学習アルゴリズムによる実験では、MPUはノイズのないベースラインに匹敵する非学習性能を達成しており、ほとんどのアルゴリズムの平均劣化は10%以下のノイズで1%未満であり、ノイズのないベースラインでは1%以下のノイズで性能を上回り得る。コードはhttps://github.com/Tristan-SHU/MPUで入手できる。

関連論文リスト

Efficient Federated Unlearning under Plausible Deniability [1.795561427808824]
機械学習は、特定のデータポイントが重みに与える影響を忘れるため、MLパラメータを変更することでこの問題に対処する。最近の文献では、データポイント(s)からのコントリビューションが、確率が1に近いデータセット内の他のデータポイントで鍛えられることが強調されている。本稿では、FLサーバがクライアントの参加を確実に否定できるプライバシーモデルを用いて、フェデレートされたアンラーニングを実現する効率的な方法を提案する。
論文参考訳（メタデータ） (2024-10-13T18:08:24Z)
Noise-Aware Algorithm for Heterogeneous Differentially Private Federated Learning [21.27813247914949]
本稿では,クライアントモデル更新における真のノイズレベルを効率的に推定するRobust-HDPを提案する。ユーティリティと収束速度を改善し、不正なプライバシパラメータをサーバに送信する可能性のあるクライアントに対して安全である。
論文参考訳（メタデータ） (2024-06-05T17:41:42Z)
Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。 LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
論文参考訳（メタデータ） (2024-04-18T15:47:00Z)
Adaptive Differential Privacy in Federated Learning: A Priority-Based Approach [0.0]
フェデレートラーニング(FL)は、ローカルデータセットに直接アクセスせずにグローバルモデルを開発する。 DPはパラメータに一定のノイズを加えることで、プライバシーを保証するフレームワークを提供する。本稿では,特徴量の相対的重要度に基づいて入射雑音の値を決定するFLの適応雑音付加法を提案する。
論文参考訳（メタデータ） (2024-01-04T03:01:15Z)
Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
論文参考訳（メタデータ） (2023-06-16T17:59:51Z)
On Differential Privacy for Federated Learning in Wireless Systems with Multiple Base Stations [90.53293906751747]
複数の基地局とセル間干渉を持つ無線システムにおける連合学習モデルを考える。本稿では,学習過程の収束挙動を,その最適性ギャップの上限を導出することによって示す。提案するスケジューラは,ランダムなスケジューラと比較して予測平均精度を向上する。
論文参考訳（メタデータ） (2022-08-25T03:37:11Z)
FLVoogd: Robust And Privacy Preserving Federated Learning [12.568409209047505]
プライバシを保護しながら,サーバとクライアントが共同でビザンチン攻撃を除去する,新たなフェデレート学習手法であるoogdを提案する。サーバは、S2PCと組み合わされたDBSCAN(Spatial Clustering of Applications)の自動密度ベースの空間クラスタリングを使用して、機密性の高い個人情報を取得せずに、良質な多数派をクラスタリングする。私たちのフレームワークは自動で適応的なので、サーバ/クライアントはトレーニング中にパラメータをチューニングする必要がありません。
論文参考訳（メタデータ） (2022-06-24T08:48:15Z)
Corella: A Private Multi Server Learning Approach based on Correlated Queries [30.3330177204504]
データプライバシーを保護する代替手段として、$textitCorella$を提案する。提案手法はサーバのクラスタに依存しており,少なくともmathbbN$のTは,それぞれが学習モデルを実行することでコロードを行うことができる。ノイズのばらつきは、情報漏洩を最大$T$サーバの任意のサブセットに、理論的に無視できるほど大きく設定されている。
論文参考訳（メタデータ） (2020-03-26T17:44:00Z)
Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of Partitioned Edge Learning [73.82875010696849]
機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
論文参考訳（メタデータ） (2020-03-10T05:52:15Z)
User-Level Privacy-Preserving Federated Learning: Analysis and Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-02-29T10:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。