論文の概要: AEGIS: Attention-Embedding Gradient Isolation Shield - Triple-Channel Gradient Masking for Privacy-Preserving Federated LLM Fine-Tuning

• arxiv url: http://arxiv.org/abs/2608.19534v1
• Date: Thu, 20 Aug 2026 01:12:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.43018
• Title: AEGIS: Attention-Embedding Gradient Isolation Shield - Triple-Channel Gradient Masking for Privacy-Preserving Federated LLM Fine-Tuning
• Title（参考訳）: AEGIS: Atention-Embedding Gradient isolation Shield - プライバシ保護型LDMファインチューニングのためのトリプルチャネルグラディエントマスキング
• Abstract要約: グラディエント・インバージョン・アタックは、フェデレート学習で共有される勾配からプライベートトレーニングテキストを復元する。 AEGISは3つの分析チャネル全てを3つの後方経路操作で閉じる軽量防衛システムである。 トークン回復率は、幅広い勾配反転攻撃に対してほぼゼロに減少する。
• 参考スコア（独自算出の注目度）: 13.743991513761273
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient inversion attacks recover private training text from gradients shared in federated learning, posing a serious threat to collaborative model training. Through our analysis of transformer gradient structure, we identify three channels through which private token information leaks: the attention output projection gradient exposes a low-rank subspace that encodes input embeddings (Channel 1), the embedding gradient's row-norm sparsity directly reveals which tokens are present (Channel 2), and the MLP expansion gradient carries a recoverable subspace signal analogous to Channel 1 (Channel 3). State-of-the-art attacks exploit these channels analytically to achieve near-exact token recovery in seconds. Existing defences address at most one channel and either degrade model utility or leave the remaining structural signals intact. We introduce AEGIS (Attention-Embedding Gradient Isolation Shield), a lightweight defence that closes all three analytical channels with three backward-path operations requiring no architectural changes: freezing attention projection parameters eliminates Channel 1 by construction, calibrated noise injection into the embedding gradient destroys Channel 2's token-presence signal, and analogous per-block noise injection into the MLP expansion gradient masks Channel 3. The same masked gradient drives both the local optimiser step and the server export, so no clean signal is retained on either side. Evaluated across 11 models and six datasets, AEGIS reduces token recovery rates to near zero against a range of gradient inversion attacks, both analytical and optimisation-based, while preserving or improving model utility. We provide formal guarantees for Channels 1 and 2 and validate the full defence empirically against adaptive adversaries with complete knowledge of the mechanism.
• Abstract（参考訳）: グラディエント・インバージョン・アタック(Gradient inversion attack)は、連合学習で共有される勾配からプライベートトレーニングのテキストを復元する。 注意出力予測勾配は入力埋め込みを符号化する低ランク部分空間を露出し(Channel 1)、埋め込み勾配の行-ノーム間隔はどのトークンが存在するかを直接明らかにし(Channel2)、MLP拡張勾配はチャネル1(Channel3)に類似した回復可能な部分空間信号を運ぶ。 State-of-the-art攻撃は、これらのチャネルを解析的に利用して、ほぼ正確なトークン回復を数秒で達成する。 既存の防御は1つのチャンネルで対応し、モデルユーティリティーを劣化させるか、残りの構造信号をそのまま残すかのいずれかである。 AEGIS(Attention-Embedding Gradient isolation Shield)は、3つの解析チャネル全てを閉鎖し、3つの後方経路操作でアーキテクチャ上の変更を必要としない軽量ディフェンスである。フリーズアテンションプロジェクションパラメータは、構築によってチャンネル1を排除し、埋め込み勾配へのキャリブレーションされたノイズインジェクションはチャンネル2のトークン存在信号を破壊し、MLP拡張勾配マスク3に類似のブロックノイズインジェクションを注入する。 同じマスク付き勾配は、ローカルオプティマイザステップとサーバエクスポートの両方を駆動するので、どちらの側にもクリーン信号は保持されない。 11のモデルと6つのデータセットで評価され、AEGISは、モデルユーティリティを保存または改善しながら、分析的および最適化ベースの、幅広い勾配反転攻撃に対して、トークン回復率をほぼゼロに削減する。 本稿では,チャネル1,2に対して公式な保証を提供し,その機構を十分に理解した適応的敵に対する防御効果を実証的に検証する。

関連論文リスト

• SignDeepSC: A Semantic Signature-based Approach for Robust Semantic Communication [4.042562775811428]
  SignDeepSCは、トレーニング中に対向的なサンプル生成を必要とせずに、対向的な堅牢性を達成するアーキテクチャ防衛である。 システムは、受信者インスパイアされたセマンティックシグネチャの上に構築され、ソース特徴のコンパクトなベクトル概要が別々の低レート補助チャネルで送信される。
  論文  参考訳（メタデータ） (2026-07-28T12:54:13Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Dimensionality-Aware Anomaly Detection in Learned Representations of Self-Supervised Speech Models [22.960033047333024]
  自己教師付き音声モデル(S3Ms)は、下流での強い性能を達成するが、その学習された表現は、自然と逆の摂動の下では理解し難いままである。 本稿では,WavLM とwav2vec 2.0 のレイヤワイド表現における局所固有次元(LID)を用いたフレームワーク GRIDS を提案する。
  論文  参考訳（メタデータ） (2026-05-04T15:18:15Z)
• AEGIS: Anchor-Enforced Gradient Isolation for Knowledge-Preserving Vision-Language-Action Fine-Tuning [0.0]
  ロボット制御に事前訓練された視覚言語モデル(VLM)を適用するには、フローマッチングアクションエキスパートから高次連続勾配を、クロスエントロピーに特化して訓練されたバックボーンに注入する必要がある。 このクロスモーダル勾配非対称性は、VLMの視覚的問合せ能力(VQA)の急激で激しい侵食を引き起こす。 産業標準防衛は、勾配経路を完全に停止勾配で切断し、豊かな継続的監督を放棄するか、または、更新のランクを制約するローランクアダプタ(LoRA)を通してパラメータ容量を制限するか、したがって、訓練済み多様体を上書きする。
  論文  参考訳（メタデータ） (2026-04-17T13:49:57Z)
• Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。 近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。 我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
  論文  参考訳（メタデータ） (2026-04-01T14:32:15Z)
• Model Compression using Progressive Channel Pruning [73.95107098134964]
  畳み込みニューラルネットワーク(CNN)を高速化するPCP(Progressive Channel Pruning)というフレームワークを提案する。 我々のフレームワークは、複数の選択された層から少数のチャンネルを反復的にプルークし、各イテレーションで3ステップの試行選択パイプラインで構成されています。 2つのベンチマークデータセットに関する包括的な実験は、PCPフレームワークが既存のチャネルプルーニングアプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2025-07-07T09:12:03Z)
• Mjolnir: Breaking the Shield of Perturbation-Protected Gradients via Adaptive Diffusion [13.764770382623812]
  フェデレートラーニングにおける勾配摂動保護のシールドを破ろうとする試みについて紹介する。 摂動抵抗性勾配漏洩攻撃であるMjolnirを導入する。 Mjolnirは、オリジナルのモデル構造や外部データへのアクセスを必要とせずに、勾配から摂動を取り除くことができる。
  論文  参考訳（メタデータ） (2024-07-07T07:06:49Z)
• Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
  新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。 拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
  論文  参考訳（メタデータ） (2024-05-01T12:03:39Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Locality-aware Channel-wise Dropout for Occluded Face Recognition [116.2355331029041]
  顔認識は、特に顔が部分的に隠されている場合、制約のないシナリオでは難しいタスクである。 そこで本研究では,ニューロン群の活性化を,精巧に選択されたチャネルに落とすことによって,新しい,エレガントなオクルージョン・シミュレート法を提案する。 種々のベンチマーク実験により,提案手法は最先端の手法よりも優れた性能を示し,性能が向上した。
  論文  参考訳（メタデータ） (2021-07-20T05:53:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。