論文の概要: Position Matters: Feature Inversion Attacks in ViT Split Inference with Token Reduction and Shuffling
- arxiv url: http://arxiv.org/abs/2609.01232v1
- Date: Tue, 01 Sep 2026 13:32:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.685828
- Title: Position Matters: Feature Inversion Attacks in ViT Split Inference with Token Reduction and Shuffling
- Title（参考訳）: 位置問題:トークン削減とシャッフルによるViTスプリット推論における特徴反転攻撃
- Abstract要約: 視覚変換器(ViT)は、エッジデバイスが中間トークン表現をリモートクラウドに送信するスプリット推論システムにおいて、ますます使われている。
従来の再建攻撃で必要となる空間構造が破壊されているにもかかわらず, トークン埋め込みは重要な位置情報を保持していることを示す。
本稿では, 位置埋め込みを除去し, 知識蒸留によるエッジ側変圧器ブロックを段階的に適応する軽量なエッジ側防御法を提案する。
- 参考スコア（独自算出の注目度）: 47.534323051024366
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision Transformers (ViTs) are increasingly used in split-inference systems, where edge devices transmit intermediate token representations to a remote cloud. In this setting, token reduction lowers computation and communication costs, while token shuffling disrupts the spatial organization of the transmitted tokens, potentially limiting information leakage. However, their privacy benefits remain unclear against feature inversion attacks, which attempt to reconstruct the input from the transmitted embeddings. In this work, we show that, despite disrupting the spatial structure required by conventional reconstruction attacks, transmitted token embeddings retain substantial positional information. Based on this observation, we introduce the Spatially Aligned Reconstruction Attack (SARA), a unified pipeline that predicts token positions, restores their spatial layout, reconstructs missing embeddings using a feature-space masked autoencoder, and recovers the input image. Our results demonstrate that token shuffling provides only apparent privacy, as SARA largely reconstructs the original token organization. Token reduction offers stronger protection, but significant leakage persists when the retained tokens preserve sufficient semantic and positional information. Finally, we introduce a lightweight edge-side defense that removes positional embeddings and progressively adapts the edge-side transformer blocks through knowledge distillation. It substantially reduces attack performance against SARA, while preserving downstream task accuracy and requiring no changes to the cloud-side model.
- Abstract（参考訳）: 視覚変換器(ViT)は、エッジデバイスが中間トークン表現をリモートクラウドに送信するスプリット推論システムにおいて、ますます使われている。
この設定では、トークンの削減は計算と通信コストを削減し、トークンシャッフルは送信されたトークンの空間的構造を妨害し、情報漏洩を制限する可能性がある。
しかし、それらのプライバシー上の利点は、送信された埋め込みから入力を再構築しようとする機能反転攻撃に対して不明確である。
本研究では,従来の再建攻撃による空間構造が破壊されているにもかかわらず,送信トークンの埋め込みが重要な位置情報を保持していることを示す。
本報告では,トークンの位置を予測し,空間的レイアウトを復元し,特徴空間マスク付きオートエンコーダを用いて埋め込みを復元し,入力画像を復元する統一パイプラインである空間適応型再構成攻撃(SARA)を導入する。
トークンシャッフルは,SARAがオリジナルのトークン組織を大半を再構築したことにより,明らかなプライバシのみを提供することを示す。
トークンの削減はより強力な保護を提供するが、保持されたトークンが十分な意味情報と位置情報を保持すると、重大なリークが持続する。
最後に、位置埋め込みを除去し、知識蒸留によるエッジ側変圧器ブロックを段階的に適応する軽量なエッジ側ディフェンスを導入する。
SARAに対する攻撃性能を大幅に低下させ、ダウンストリームタスクの精度を保ち、クラウドサイドモデルの変更を必要としない。
関連論文リスト
- DecoyFace: Beyond Obfuscation via Controllable and Imperceptible Identity Misdirection for Privacy-Preserving Face Recognition [7.701542549152122]
Split Face Recognitionはクライアント側の計算を減らしますが、中間機能をインバージョンアタックとHBCサーバによる不正解析に公開しています。
既存のプライバシ保護顔認証方式は、主に無許可の復元に抵抗することを目的としている。
提案するDecoyFaceは,不許可なデコイ指向のフレームワークである。
論文 参考訳（メタデータ） (2026-07-20T03:19:00Z) - Bypassing Copyright Protection in Diffusion-based Customization via Two-Stage Latent Feature Optimization [51.33055188976282]
敵対的攻撃は 個人化された画像生成において 悪意のあるコンテンツの偽造を防ぐ 防衛戦略として浮上した
本稿では,2段階遅延特徴最適化 (TS-LFO) を導入する。
広範な実験により、TS-LFOは、最先端のSOTA著作権防衛を一貫して回避し、DiffPure、GrIDPure、IMPRESSなどのSOTA著作権攻撃より優れていることが示されている。
論文 参考訳（メタデータ） (2026-06-06T07:59:08Z) - NTR: Neural Token Reconstruction for Scene Token Bottleneck in End-to-End Driving [12.929105623226649]
本研究では,知覚自由運転におけるコンパクトなシーンのボトルネックを抑えるためのニューラル表現学習フレームワークを提案する。
NTRは3つの公道走行ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-05-29T10:27:32Z) - LightSplit: Practical Privacy-Preserving Split Learning via Orthogonal Projections [54.51153206716027]
Split Learning(SL)は、ニューラルネットワークをクライアントと中央サーバに分割することで、協調的なトレーニングを可能にする。
カット層に軽量な固定ランダムプロジェクションを適用することにより,情報露出を制限し,通信オーバーヘッドを低減するLightSplitを提案する。
提案手法は, 伝送次元の最大32倍の精度で, 95%以上の精度を維持できることを示した。
論文 参考訳（メタデータ） (2026-05-13T09:45:49Z) - Mitigating Gradient Inversion Risks in Language Models via Token Obfuscation [21.00172111387017]
大規模言語モデルの訓練と微調整は、勾配反転攻撃(GIA)に対して脆弱である
GHOSTは、勾配、埋め込み、トークン空間にまたがる固有の接続を分離することで、GIAを中和するトークンレベルの難読化機構である。
GHOSTは重要な洞察に基づいて構築されている: トークン空間の大規模化により、意味的に区別されるが、元のトークンのシャドウ代用として機能する埋め込み型トークンが存在する。
論文 参考訳（メタデータ） (2026-02-11T14:49:31Z) - Rethinking Transferable Adversarial Attacks on Point Clouds from a Compact Subspace Perspective [55.919842734983156]
CoSAは、共有された低次元セマンティック空間内で機能する転送可能なアタックフレームワークである。
CoSAは、最先端のトランスファー可能な攻撃を一貫して上回っている。
論文 参考訳（メタデータ） (2026-01-30T15:48:11Z) - Teleportation-Based Defenses for Privacy in Approximate Machine Unlearning [8.735490611482364]
近似マシンアンラーニングは、訓練されたモデルから特定のデータポイントの影響を効率的に除去することを目的としている。
事前学習モデルと後学習モデルにアクセスできる敵は、メンバーシップ推論やデータ再構成に彼らの違いを利用することができる。
これらの脆弱性は2つの要因から生じることが示される: 忘れられたサンプルの大きな勾配ノルムと、未学習パラメータが元のモデルに近づいたこと。
論文 参考訳（メタデータ） (2025-11-29T01:50:33Z) - Mitigating Privacy Risks in LLM Embeddings from Embedding Inversion [21.83264152003852]
埋め込み型インバージョン攻撃を緩和する新しい防御機構であるEguardを導入する。
当社のアプローチは、高いパフォーマンスを維持しながら95%以上のトークンを反転から保護し、プライバシーリスクを著しく低減します。
論文 参考訳（メタデータ） (2024-11-06T14:42:41Z) - Over-the-Air Federated Learning with Privacy Protection via Correlated
Additive Perturbations [57.20885629270732]
我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。
従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。
本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
論文 参考訳（メタデータ） (2022-10-05T13:13:35Z) - Semi-signed neural fitting for surface reconstruction from unoriented
point clouds [53.379712818791894]
より優れた符号付き距離場を再構成するためのSN-Fittingを提案する。
SSNフィッティングは半署名の監督と損失に基づく領域サンプリング戦略で構成されている。
我々は,SSN-Fittingが,異なる設定下で最先端の性能を達成することを示す実験を行う。
論文 参考訳（メタデータ） (2022-06-14T09:40:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。