論文の概要: Gradient Mirage: Trainable yet Label-Unidentifiable Gradients in Large Language Model Split Learning
- arxiv url: http://arxiv.org/abs/2608.18767v1
- Date: Wed, 19 Aug 2026 10:20:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.374011
- Title: Gradient Mirage: Trainable yet Label-Unidentifiable Gradients in Large Language Model Split Learning
- Title（参考訳）: グラディエントミラージュ:大規模言語モデル分割学習におけるトレーニング可能でラベル不明なグラディエント
- Abstract要約: スプリットラーニングにおける勾配マッチング攻撃(GMA)は、批判的だが未解明の仮定に依存している。
この一貫性により、好奇心の強いサーバは、観測結果に誘導勾配が説明されるシーケンスを探索することで、プライベートラベルを復元することができる。
本稿では,後方信号の最適化性を捨てることなく,この一貫性を損なうディフェンスであるグラディエントミラージュを提案する。
- 参考スコア（独自算出の注目度）: 21.543362368449156
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Gradient matching attacks (GMAs) in LLM split learning (SL) rely on a critical yet underexplored assumption: the gradient exposed at the split interface is a faithful derivative of the client's full-label training objective. This gradient-objective consistency allows a curious server to recover private labels by searching for a sequence whose induced gradient explains the observation. We propose Gradient Mirage, a defense that breaks this consistency without discarding the optimization utility of the backward signal. Our key idea is to induce the adversary to solve a misspecified inverse problem, in which no plausible label sequence in the sequence space can explain the observed gradients. Concretely, Gradient Mirage achieves this by inducing inconsistency across three dimensions: objective, direction, and scale. Selective Autoregressive Supervision derives the exposed gradient from a masked surrogate loss rather than the full-label objective assumed by the attacker; Scale Blinding then applies randomized multiplicative rescaling, obscuring the gradient's natural magnitude; and Directional Privatization further randomizes the gradient direction while preserving its magnitude through the von Mises-Fisher (vMF) mechanism under a directional metric differential privacy guarantee. Crucially, utility is preserved: the Top segment still learns from all target tokens via Dual-Track Backpropagation, the exposed gradient remains informative since each supervised token retains its complete autoregressive context, and Bottom-Gradient Recovery restores the effective gradient for Bottom-segment optimization. Extensive experiments show that Gradient Mirage provides substantially stronger protection than existing defenses under comparable fine-tuning performance, achieving a better privacy-utility trade-off.
- Abstract（参考訳）: LLMスプリットラーニング(SL)におけるグラディエントマッチングアタック(GMAs)は、決定的だが未解明の前提に依存している。
この勾配-対象整合性により、好奇心の強いサーバは、観測を誘導的勾配が説明するシーケンスを探索することで、プライベートラベルを復元することができる。
本稿では,後方信号の最適化性を捨てることなく,この一貫性を損なうディフェンスであるグラディエントミラージュを提案する。
我々のキーとなる考え方は、列空間の可塑性ラベル列が観測された勾配を説明することができない不特定逆問題を解決するために敵を誘導することである。
具体的には、グラディエントミラージュ(Gradient Mirage)は、目的、方向、スケールの3次元にわたる矛盾を誘発することでこれを達成します。
Selective Autoregressive Supervisionは、攻撃者が想定する完全なラベルの目的よりも、マスクされたサロゲート損失から露出した勾配を導出する; Scale Blindingはランダム化された乗法的再スケーリングを適用し、勾配の自然な大きさを隠蔽する; Directional Privatizationは、その大きさを、指向性差分プライバシー保証の下でvon Mises-Fisher(vMF)メカニズムで保存しながら、勾配方向をランダム化する。
重要な点として、Topセグメントは、Dual-Track Backproagationを通じてすべてのターゲットトークンから学習し、各管理トークンが完全な自己回帰的コンテキストを保持し、ボトム-グラディエント・リカバリはボトム-セグメンテーション最適化の効果的な勾配を復元するので、露出勾配は情報的のままである。
大規模な実験により、グラディエントミラージュは、同等の微調整性能の下で既存の防御よりもはるかに強力な保護を提供し、より優れたプライバシーとユーティリティのトレードオフを実現することが示されている。
関連論文リスト
- Geometric Gradient Rectification for Safe Open-Set Semi-Supervised Learning [15.386002863432678]
オープンセット半教師付き学習は、アウト・オブ・ディストリビューション・アウトリーを含む可能性のあるラベルのないデータを活用することを目的としている。
既存の手法は主に、疑わしいサンプルをフィルタリングするか、ラベルなしの目的をソフトな重み付けに組み込むという2つのパラダイムに従っている。
攻撃的フィルタリングは情報的だがハードなIDサンプルを捨てることが可能であり、一方、利用は疑似ラベルが間違っている場合に教師付き学習と矛盾する補助的な勾配を導入することができる。
教師付き勾配をアンカーとして使用するプラグインフレームワークである textitGeometric Gradient Rectification (GGR) を提案する。
論文 参考訳（メタデータ） (2026-06-25T12:45:42Z) - Gradient Perturbation: Learning to Perturb Gradients for Adaptive Training [3.2608238154676843]
勾配の摂動は 体系的な調査がほとんどありません
本稿では,クラスレベルでのロジトレベルの勾配を適応的に摂動し,カテゴリ認識学習を実現するLPG(Learning to Perturb Gradients)を提案する。
バランスの取れた分類、長い尾の分類、ノイズの多いラベル学習の実験では、LPGは既存の手法よりも一貫して優れており、プラグインモジュールとして組み合わせることができる。
論文 参考訳（メタデータ） (2026-05-28T07:19:36Z) - AEGIS: Anchor-Enforced Gradient Isolation for Knowledge-Preserving Vision-Language-Action Fine-Tuning [0.0]
ロボット制御に事前訓練された視覚言語モデル(VLM)を適用するには、フローマッチングアクションエキスパートから高次連続勾配を、クロスエントロピーに特化して訓練されたバックボーンに注入する必要がある。
このクロスモーダル勾配非対称性は、VLMの視覚的問合せ能力(VQA)の急激で激しい侵食を引き起こす。
産業標準防衛は、勾配経路を完全に停止勾配で切断し、豊かな継続的監督を放棄するか、または、更新のランクを制約するローランクアダプタ(LoRA)を通してパラメータ容量を制限するか、したがって、訓練済み多様体を上書きする。
論文 参考訳（メタデータ） (2026-04-17T13:49:57Z) - Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。
近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。
我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
論文 参考訳（メタデータ） (2026-04-01T14:32:15Z) - The Devil Is in Gradient Entanglement: Energy-Aware Gradient Coordinator for Robust Generalized Category Discovery [76.35318747478522]
Energy-Aware Gradient Coordinator (EAGC) は、最適化プロセスを明示的に制御するプラグイン・アンド・プレイの勾配モジュールである。
EAGCはAnchor-based Gradient Alignment (AGA)とEnergy-Aware Elastic Projection (EEP)の2つのコンポーネントから構成される。
論文 参考訳（メタデータ） (2026-03-25T14:58:42Z) - Mitigating Gradient Inversion Risks in Language Models via Token Obfuscation [21.00172111387017]
大規模言語モデルの訓練と微調整は、勾配反転攻撃(GIA)に対して脆弱である
GHOSTは、勾配、埋め込み、トークン空間にまたがる固有の接続を分離することで、GIAを中和するトークンレベルの難読化機構である。
GHOSTは重要な洞察に基づいて構築されている: トークン空間の大規模化により、意味的に区別されるが、元のトークンのシャドウ代用として機能する埋め込み型トークンが存在する。
論文 参考訳（メタデータ） (2026-02-11T14:49:31Z) - Geometric-Disentangelment Unlearning [106.99160454669902]
忘れたサンプルへの勾配は しばしば 保持された知識を傷つける
本稿では,GU(Geometric-disment Unlearning)を提案する。
本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
論文 参考訳（メタデータ） (2025-11-21T09:58:25Z) - Mjolnir: Breaking the Shield of Perturbation-Protected Gradients via Adaptive Diffusion [13.764770382623812]
フェデレートラーニングにおける勾配摂動保護のシールドを破ろうとする試みについて紹介する。
摂動抵抗性勾配漏洩攻撃であるMjolnirを導入する。
Mjolnirは、オリジナルのモデル構造や外部データへのアクセスを必要とせずに、勾配から摂動を取り除くことができる。
論文 参考訳（メタデータ） (2024-07-07T07:06:49Z) - A Theoretical Insight into Attack and Defense of Gradient Leakage in
Transformer [11.770915202449517]
グラディエント(DLG)攻撃によるDeep Leakageは、交換勾配を検査してセンシティブなトレーニングデータを抽出する方法として、広く普及している。
本研究は, 変圧器モデルに特に適用した場合の勾配漏洩法を包括的に解析する。
論文 参考訳（メタデータ） (2023-11-22T09:58:01Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳（メタデータ） (2023-08-09T04:34:21Z) - Staircase Sign Method for Boosting Adversarial Attacks [123.19227129979943]
トランスファーベースの攻撃の敵の例を作るのは難しいし、研究のホットスポットだ。
そこで本研究では,この問題を緩和するための新しい階段サイン法(S$2$M)を提案する。
我々の手法は一般に転送ベースの攻撃と統合することができ、計算オーバーヘッドは無視できる。
論文 参考訳（メタデータ） (2021-04-20T02:31:55Z) - Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。
多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。
各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
論文 参考訳（メタデータ） (2020-06-27T19:08:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。