論文の概要: FedLNS: Leverage LayerNorm Signature Modeling to Mitigate Adversarial Manipulation in Federated LLMs
- arxiv url: http://arxiv.org/abs/2608.18736v1
- Date: Wed, 19 Aug 2026 09:43:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.36593
- Title: FedLNS: Leverage LayerNorm Signature Modeling to Mitigate Adversarial Manipulation in Federated LLMs
- Title（参考訳）: FedLNS:Federage Layer Norm Signature ModelingによるFederated LLMの逆操作の軽減
- Abstract要約: Federated Learning with Normalization Signatures (FedLNS)は、軽量な悪意のある更新スクリーニングのためのサーバーサイドフレームワークである。
FedLNSはトレーニング可能な正規化層パラメータの変更を通じて、各クライアントのアップデートを表す。
これは、頑丈で履歴対応のクロスクライアント参照に対して不審なアップデートをスクリーニングする。
- 参考スコア（独自算出の注目度）: 40.651043702639804
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Federated training enables language models to learn from distributed private text, but the server cannot directly verify the local supervision or optimization process that produces each client update. A malicious client can therefore train on corrupted targets, introduce incorrect context-token associations, and degrade the global model through repeated aggregation. Such degradation can also increase the risk of unreliable or hallucinatory generation. We propose Federated Learning with Normalization Signatures (FedLNS), a server-side framework for lightweight malicious-update screening. FedLNS represents each client update through changes in trainable normalization-layer parameters and screens suspicious updates against a robust, history-aware cross-client reference. Because the signatures are extracted at the server from the returned local models, FedLNS requires no additional client-to-server parameter or metadata exchange compared to standard federated learning (FL) methods. After screening, the retained full-model updates can be aggregated using standard FL or another compatible aggregation rule. FedLNS requires no raw client data, trusted server dataset, labeled attack examples, or separately trained detector. Experiments on GPT-style, BERT-style, and LLaMA-style models trained from scratch with 200 clients show that, under 40% population-level target manipulation, FedLNS achieves lower test perplexity than the strongest of six baselines for all three architectures under both IID (independently and identically distributed) and non-IID data partitions.
- Abstract（参考訳）: フェデレートトレーニングにより、分散プライベートテキストから言語モデルを学習することができるが、サーバは各クライアント更新を生成するローカルの監視や最適化プロセスを直接検証することはできない。
したがって、悪意のあるクライアントは、破損したターゲットをトレーニングし、誤ったコンテキスト・ツーケン・アソシエーションを導入し、繰り返しアグリゲーションを通じてグローバルモデルを劣化させることができる。
このような劣化は、信頼できないあるいは幻覚の発生のリスクを増大させる。
我々は,軽量な悪意ある更新スクリーニングを行うサーバサイドフレームワークであるFederated Learning with Normalization Signatures (FedLNS)を提案する。
FedLNSはトレーニング可能な正規化層パラメータの変更を通じて各クライアントのアップデートを表現し、堅牢で履歴対応のクロスクライアント参照に対して不審な更新を行う。
署名は、返却されたローカルモデルからサーバで抽出されるため、FedLNSは標準のフェデレーションドラーニング(FL)メソッドと比較して、追加のクライアント間パラメータやメタデータ交換を必要としない。
スクリーニング後、保持されたフルモデル更新は標準FLや他の互換性のあるアグリゲーションルールを使って集約することができる。
FedLNSは、生のクライアントデータ、信頼できるサーバデータセット、ラベル付きアタック例、あるいは別々にトレーニングされた検出器を必要としない。
GPTスタイル、BERTスタイル、LLaMAスタイルのモデルを200のクライアントでスクラッチからトレーニングした結果、FedLNSは人口レベルのターゲット操作の40%以下では、IIDと非IIDデータパーティションの両方の下での3つのアーキテクチャにおいて、最強の6つのベースラインよりもテストの難易度が低いことが示されている。
関連論文リスト
- FedX: Explanation-Guided Pruning for Communication-Efficient Federated Learning in Remote Sensing [2.725507329935916]
フェデレーション学習はリモートセンシング(RS)画像分類タスクに適した学習パラダイムである。
FLをRSタスクに適用する上で重要な課題は、クライアントと中央サーバ間の大規模なモデル更新の頻繁な交換に起因する通信オーバーヘッドである。
我々は、説明誘導プルーニングを用いて通信オーバーヘッドを低減する新しい戦略(FedX)を提案する。
論文 参考訳（メタデータ） (2025-08-08T12:21:58Z) - FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates [58.18162789618869]
フェデレートラーニング(FL)は、モデルを分散的にトレーニングするための広く使われているフレームワークである。
我々はFedRandフレームワークを提案し、クライアントパラメータの完全な集合を開示するのを避ける。
我々はFedRandがMIAに対するロバスト性を改善することを、関連するベースラインと比較して実証的に検証する。
論文 参考訳（メタデータ） (2025-03-10T11:55:50Z) - FedTLU: Federated Learning with Targeted Layer Updates [12.800116749927266]
フェデレートラーニング(FL)は、トレーニング言語モデルのプライバシの問題に対処するため、複数のクライアントが他のクライアントにデータを送信することなく、トレーニングにコントリビュートできるようにする。
非IID(同一かつ独立に分散した)データは、FLの性能を制限していることが多い。
本稿では,FLにおける微調整のための層更新戦略を提案する。
論文 参考訳（メタデータ） (2024-12-23T16:17:46Z) - Efficient Federated Unlearning under Plausible Deniability [1.795561427808824]
機械学習は、特定のデータポイントが重みに与える影響を忘れるため、MLパラメータを変更することでこの問題に対処する。
最近の文献では、データポイント(s)からのコントリビューションが、確率が1に近いデータセット内の他のデータポイントで鍛えられることが強調されている。
本稿では、FLサーバがクライアントの参加を確実に否定できるプライバシーモデルを用いて、フェデレートされたアンラーニングを実現する効率的な方法を提案する。
論文 参考訳（メタデータ） (2024-10-13T18:08:24Z) - Safely Learning with Private Data: A Federated Learning Framework for Large Language Model [3.1077263218029105]
フェデレートラーニング(FL)は、分散プライベートデータを用いたモデルのトレーニングに理想的なソリューションである。
FedAvgのような従来のフレームワークは、大きな言語モデル(LLM)には適さない
本稿では,サーバサイド攻撃とピアクライアント攻撃の両方によるデータ漏洩を防止するFL-GLMを提案する。
論文 参考訳（メタデータ） (2024-06-21T06:43:15Z) - FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the
Power of Heterogeneous Clients [50.13097183691517]
実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。
本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。
各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。
アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
論文 参考訳（メタデータ） (2023-11-19T04:43:16Z) - Mitigating Cross-client GANs-based Attack in Federated Learning [78.06700142712353]
マルチ分散マルチメディアクライアントは、グローバル共有モデルの共同学習のために、フェデレートラーニング(FL)を利用することができる。
FLは、GAN(C-GANs)をベースとしたクロスクライアント・ジェネレーティブ・敵ネットワーク(GANs)攻撃に苦しむ。
C-GAN攻撃に抵抗する現在のFLスキームを改善するためのFed-EDKD手法を提案する。
論文 参考訳（メタデータ） (2023-07-25T08:15:55Z) - BAFFLE: A Baseline of Backpropagation-Free Federated Learning [71.09425114547055]
フェデレートラーニング(FL)は、分散クライアントがローカルデータを共有せずにサーバモデルをまとめて訓練する一般的な原則である。
我々は、バックプロパゲーションを複数のフォワードプロセスに置き換えて勾配を推定する、BAFFLEと呼ばれる、バックプロパゲーションフリーなフェデレーション学習を開発する。
BAFFLEは、1)メモリ効率が高く、アップロード帯域幅に適しており、2)推論のみのハードウェア最適化とモデル量子化やプルーニングと互換性があり、3)信頼できる実行環境に適している。
論文 参考訳（メタデータ） (2023-01-28T13:34:36Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Communication-Efficient Online Federated Learning Framework for
Nonlinear Regression [5.67468104295976]
本稿では,部分共有型オンラインフェデレーション学習フレームワーク(PSO-Fed)を提案する。
PSO-Fedは、クライアントが継続的ストリーミングデータを使用してローカルモデルを更新し、更新されたモデルの一部をサーバと共有することを可能にする。
実験の結果,PSO-Fed は Online-Fed よりも通信オーバーヘッドが著しく低い競争性能を達成できることがわかった。
論文 参考訳（メタデータ） (2021-10-13T08:11:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。