論文の概要: TIGER: Inverting Transformer Gradients via Embedding-Subspace Distance Optimization

• arxiv url: http://arxiv.org/abs/2606.18312v1
• Date: Tue, 16 Jun 2026 10:24:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:50.815967
• Title: TIGER: Inverting Transformer Gradients via Embedding-Subspace Distance Optimization
• Title（参考訳）: TIGER:埋め込み空間距離最適化による変圧器勾配の反転
• Authors: William Kalikman, Ivo Petrov, Dimitar I. Dimitrov, Martin Vechev,
• Abstract要約: フェデレートラーニングにより、複数のクライアントが、生の入力をローカルに保ちながら、中央サーバに更新を送信することで、共有モデルを共同でトレーニングすることができる。 事前の勾配反転攻撃は、これらの更新がクライアント入力を再構築するのに十分な情報を明らかにすることを示している。 我々は、この部分空間信号を微分可能な目的に変換する連続的な勾配反転攻撃であるTIGERを導入する。
• 参考スコア（独自算出の注目度）: 4.486500523404418
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning allows multiple clients to jointly train a shared model by sending gradient updates to a central server while keeping raw inputs local. However, prior gradient inversion attacks show that these updates can reveal enough information to reconstruct client inputs. Existing attacks on transformers either optimize dummy inputs to match the true client updates, which is costly and unstable for modern models, or exploit the low rank of attention gradients to identify a subspace containing the true layer embeddings, followed by a discrete membership test for candidate tokens. However, this token test is brittle under numerical noise, i.e., from quantization or Differential Privacy (DP), and scales poorly for encoder models with non-causal attention. We introduce TIGER, a continuous gradient inversion attack that turns this subspace signal into a differentiable objective. Instead of searching over tokens or matching full gradients, TIGER directly optimizes token embeddings to minimize their distance to the subspace. Our experiments demonstrate that on encoder-only models, TIGER substantially improves both reconstruction quality and runtime over existing attacks, while on decoder models, TIGER is more robust than prior subspace-based attacks, enabling the first successful reconstructions in DP-defended federated learning settings.
• Abstract（参考訳）: フェデレートされた学習により、複数のクライアントが、生の入力をローカルに保ちながら、中央サーバに勾配更新を送信することで、共有モデルを共同でトレーニングすることができる。 しかし、事前の勾配反転攻撃は、これらの更新がクライアント入力を再構築するのに十分な情報を明らかにすることを示している。 トランスフォーマーに対する既存の攻撃は、ダミー入力を最適化して、現在のモデルでは高価で不安定な真のクライアント更新にマッチさせるか、注意勾配の低いランクを利用して真の層埋め込みを含むサブスペースを特定し、続いて候補トークンの個別メンバシップテストを行う。 しかし、このトークンテストは量子化や微分プライバシ(DP)などの数値ノイズ下では脆く、非因果的注意を持つエンコーダモデルでは不十分である。 我々は、この部分空間信号を微分可能な目的に変換する連続的な勾配反転攻撃であるTIGERを導入する。 トークンの検索や全勾配のマッチングの代わりに、TIGERはトークンの埋め込みを直接最適化し、サブスペースへの距離を最小化する。 実験の結果, エンコーダのみのモデルでは, TIGERは既存の攻撃に対して, 再構築品質と実行時間の両方を大幅に改善する一方, 復号器モデルでは, TIGERは従来のサブスペースベース攻撃よりも堅牢であり, DP対応のフェデレーション学習環境における最初の再構築が成功していることがわかった。

関連論文リスト

• Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。 近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。 我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
  論文  参考訳（メタデータ） (2026-04-01T14:32:15Z)
• CENSOR: Defense Against Gradient Inversion via Orthogonal Subspace Bayesian Sampling [63.07948989346385]
  フェデレーション学習は、グローバルサーバ上でニューラルネットワークを協調的にトレーニングする。 各ローカルクライアントは、現在のグローバルモデルウェイトを受信し、そのローカルプライベートデータに基づいてパラメータ更新(グラディエント)を返送する。 既存の勾配反転攻撃は、クライアントの勾配ベクトルからプライベートトレーニングインスタンスを復元するためにこの脆弱性を利用することができる。 本稿では,大規模ニューラルネットワークモデルに適した新しい防衛手法を提案する。
  論文  参考訳（メタデータ） (2025-01-27T01:06:23Z)
• DAGER: Exact Gradient Inversion for Large Language Models [10.998375857698496]
  フェデレーション学習は、複数のクライアントからローカルに計算された勾配を集約することで機能する。 これまでの研究では、いわゆるグラディエント・インバージョン・アタックを使用して、データをサーバによって実際に回収できることが示されていた。 入力テキストのバッチ全体を正確に復元する最初のアルゴリズムであるDAGERを提案する。
  論文  参考訳（メタデータ） (2024-05-24T14:14:24Z)
• Rethinking PGD Attack: Is Sign Function Necessary? [131.6894310945647]
  本稿では,このような手話に基づく更新アルゴリズムが段階的攻撃性能にどのように影響するかを理論的に分析する。 本稿では,手話の使用を排除したRGDアルゴリズムを提案する。 提案したRGDアルゴリズムの有効性は実験で広く実証されている。
  論文  参考訳（メタデータ） (2023-12-03T02:26:58Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。