論文の概要: FIRM: Fisher-Informed Retention Merging for Federated LLM Unlearning
- arxiv url: http://arxiv.org/abs/2610.21720v1
- Date: Thu, 15 Oct 2026 11:39:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.054271
- Title: FIRM: Fisher-Informed Retention Merging for Federated LLM Unlearning
- Title（参考訳）: FIRM:Federated LLM Unlearningのためのフィッシャーインフォームド・リテンション・マージ
- Abstract要約: フェデレートされたLLMアンラーニングアドレスは、プライベートクライアントに分散したままデータを忘れたり保持したりする際に、ターゲットとなる知識を削除する。
FIRM(Fisher-Informed Retention Merging)は,安定したサーバ側アグリゲーションのための単一ラウンドフレームワークである。
- 参考スコア（独自算出の注目度）: 21.85252409468006
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated LLM unlearning addresses targeted knowledge removal when forget and retain data remain distributed across private clients and are inaccessible to the server. The resulting locally trained adapters encode conflicting objectives, making their aggregation fundamentally different from conventional federated optimization. A key failure mode is magnitude explosion, whereby unnormalized cross-client aggregation increases the merged update magnitude and degrades retained utility under stronger unlearning. We propose FIRM (Fisher-Informed Retention Merging), a single-round framework for stable and retention-aware server-side aggregation. FIRM uses client-local Fisher statistics as a unified sensitivity signal to construct a Fisher-normalized base merge and impose explicit control over retain-sensitive parameters. Its second-order retention projection admits a unique minimum-distance solution, while the corresponding dual scales with the number of retain clients rather than the model dimension. Experiments across WMDP, TOFU, and MUSE-HP using Zephyr-7B and Llama-3-8B show utility gains at comparable forgetting on WMDP and MUSE-HP, with metric-dependent trade-offs on TOFU. Controlled comparisons support benefits of the combined base merge and additional retention correction at selected operating points.
- Abstract（参考訳）: フェデレートされたLLMアンラーニングアドレスは、プライベートクライアントに分散したままデータを忘れたり保持したりする際に、ターゲットとなる知識を削除する。
その結果、局所的に訓練されたアダプタは競合する目的を符号化し、それらのアグリゲーションを従来のフェデレーション最適化と根本的に異なるものにする。
重要な障害モードはマグニチュード・爆発であり、非正規化されたクロスクライアント・アグリゲーションは、マージされた更新のマグニチュードを増大させ、より強力なアンラーニングの下で有効性を低下させる。
FIRM(Fisher-Informed Retention Merging)は,安定したサーバ側アグリゲーションのための単一ラウンドフレームワークである。
FIRMは、クライアントローカルフィッシャー統計を統一感度信号として使用し、フィッシャー正規化ベースマージを構築し、保持感度パラメータを明示的に制御する。
その2階保持射影は、一意の最小距離の解を持ち、対応する二重スケールは、モデル次元ではなく、保持クライアントの数で表される。
Zephyr-7B と Llama-3-8B を用いた WMDP 、TOFU 、MUSE-HP をまたいだ実験では、WMDP と MUSE-HP では、TOFU ではメートル法に依存したトレードオフがある。
制御された比較は、結合されたベースマージの利点と、選択した操作点における追加の保持補正をサポートする。
関連論文リスト
- RIPPLE in Still Water: Zero-Shot Clustering in Federated Learning with Wavelet Scattering Transform [51.56484100374058]
クラスタ化されたフェデレートラーニング(FL)は、クライアントを同じローカル分布のグループに分割し、クラスタ毎に1つの特別なモデルを訓練する。
本稿では、各クライアントのローカルデータのスペクトル特性からクラスタ割り当てを完全にオフラインで計算するクラスタリングFLフレームワークであるRIPPLEを提案する。
論文 参考訳（メタデータ） (2026-10-02T09:35:39Z) - LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。
本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。
その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
論文 参考訳（メタデータ） (2026-06-03T06:07:33Z) - BESplit: Bias-Compensated Split Federated Learning with Evidential Aggregation [2.5015678499211407]
Split Federated Learning (SFL)は、クライアントとサーバ間でモデルを分割することで、プライバシ保護による協調トレーニングを可能にする。
非IIDデータ分布では、SFLは偏りのある最適化と不安定な収束に悩まされることが多い。
非IID効果を軽減するために,SFLの本質的な構造を利用したアーキテクチャ対応フレームワークBESplitを提案する。
論文 参考訳（メタデータ） (2026-05-17T15:42:33Z) - Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。
ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。
MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-05-05T07:02:50Z) - Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。
実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。
FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
論文 参考訳（メタデータ） (2026-02-01T05:54:59Z) - Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
パラメータを好みに置き換えることは、よりスケーラブルでプライバシに保護される未来を表している、と私たちは主張する。
ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを用いた協調アライメントフレームワークであるMoRを提案する。
MoRは、一般化、堅牢性、およびクロスクライアント適応性において、連邦化されたアライメントベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-01-31T03:11:51Z) - Variational Gaussian Mixture Manifold Models for Client-Specific Federated Personalization [0.0]
VGM$2$は、クライアント固有のパラメトリックUMAP埋め込みを学習する幾何学中心のPFLフレームワークである。
各クライアントは、マーカーの重み、手段、およびばらつきに対してディリクレ-ノルマル-逆-ガンマの後部を保持する。
VGM$2$は、強いベースラインに比べて、競争力または優れたテストF1スコアを達成する。
論文 参考訳（メタデータ） (2025-09-04T01:28:02Z) - User-Centric Federated Learning: Trading off Wireless Resources for
Personalization [18.38078866145659]
フェデレートラーニング(FL)システムでは、統計的不均一性はアルゴリズム収束時間を増やし、一般化性能を低下させる。
FLが課すプライバシー制約に違反することなく、上記の問題に対処するためには、パーソナライズされたFLメソッドは、データに直接アクセスすることなく、統計的に類似したクライアントを結合する必要がある。
本研究では,容易に利用できる勾配情報に基づいて,FLクライアント毎にパーソナライズされたモデルを生成可能なユーザ中心集約ルールを設計する。
提案アルゴリズムは,平均精度,ノード性能,通信オーバヘッドの訓練において,パーソナライズされたFLベースラインを上回っている。
論文 参考訳（メタデータ） (2023-04-25T15:45:37Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳（メタデータ） (2022-12-03T03:27:51Z) - Stochastic Coded Federated Learning with Convergence and Privacy
Guarantees [8.2189389638822]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。
本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。
我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
論文 参考訳（メタデータ） (2022-01-25T04:43:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。