論文の概要: Revisiting Certified Defense with Differential Privacy on Vision Transformers

• arxiv url: http://arxiv.org/abs/2609.31310v1
• Date: Fri, 25 Sep 2026 14:17:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.419526
• Title: Revisiting Certified Defense with Differential Privacy on Vision Transformers
• Title（参考訳）: 視覚変換器の差分プライバシによる認証防御の再検討
• Abstract要約: Pixel Differential Privacy (PixelDP)は、標準境界の敵に対して堅牢性を保証する。 我々は、視覚変換器の構成を再検討し、畳み込み設定にほとんど隠れている障害モードを特定する。 継承された$_1,1プロジェクションによって誘導される減衰は、ランダム行列スケール$C/(sqrtM+sqrtN)$に従って、層幅とカーネルサイズとともに増加することを示す。
• 参考スコア（独自算出の注目度）: 11.210580961811347
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Certified defenses that incorporate differential privacy have proven effective on Convolutional Neural Networks (CNNs), furnishing rigorous robustness guarantees against norm-bounded adversaries. However, the certified robustness behavior of Pixel Differential Privacy (PixelDP) remains largely unexplored with the self-attention architecture now dominating the deep-learning landscape. Given that the Transformer has a profound impact on our daily applications from the digital world to the physical world, it is crucial to study certified robustness through differential-privacy-style stability. To fill this research gap, we revisit this construction in Vision Transformers and identify a failure mode that is largely hidden in the convolutional setting. When noise is injected after the patch embedding, the Laplace mechanism with the inherited grouped $\ell_1$ sensitivity bound collapses to chance-level accuracy across noise scales, whereas the Gaussian mechanism remains trainable. This contrast isolates the source of failure: not the injected noise itself, but the geometry of the sensitivity constraint. We show that the attenuation induced by the inherited $Δ_{1,1}$ projection increases with layer width and kernel size according to a random-matrix scale $C/(\sqrt{M}+\sqrt{N})$. Replacing the $\ell_1$-type constraint with a spectral-norm constraint eliminates the collapse across datasets and architectures, but creates a fundamental obstacle: the repaired models no longer satisfy the sensitivity condition required by the standard Laplace certificate. We resolve this mismatch by deriving a dimension-free $(\varepsilon,\ δ)$-privacy guarantee for the Laplace mechanism under $\ell_2$ sensitivity through concentration of the privacy loss.
• Abstract（参考訳）: 差分プライバシーを組み込んだ認証された防御は、畳み込みニューラルネットワーク(CNN)において有効であることが証明されており、ノルムに縛られた敵に対する厳格な堅牢性を保証する。 しかし、Pixel差分プライバシー(PixelDP)の認証された堅牢性挙動は、現在ディープラーニングのランドスケープを支配している自己注意アーキテクチャによって、ほとんど解明されていないままである。 トランスフォーマーは、デジタル世界から物理世界への日々の応用に大きな影響を与えているため、差別的なプライバシスタイルの安定性を通じて、認証された堅牢性を研究することが不可欠である。 この研究ギャップを埋めるために、視覚変換器におけるこの構成を再検討し、畳み込み状態にほとんど隠れている障害モードを特定する。 パッチの埋め込み後にノイズが注入されると、継承された$\ell_1$の感度を持つLaplace機構はノイズスケール全体にわたって確率レベル精度に崩壊するが、ガウス機構は引き続き訓練可能である。 このコントラストは、インジェクトされたノイズ自体ではなく、感度制約の幾何学という、障害の原因を分離する。 継承された$Δ_{1,1}$プロジェクションによって誘導される減衰は、ランダム行列スケール$C/(\sqrt{M}+\sqrt{N})$に従って、層幅とカーネルサイズとともに増加することを示す。 スペクトルノルム制約で$\ell_1$-type制約を置き換えると、データセットやアーキテクチャ間の崩壊は排除されるが、根本的な障害が発生する。 このミスマッチは、プライバシ損失の集中によって、ラプラス機構に対する次元自由な$(\varepsilon,\ δ)$-privacyの保証を$\ell_2$の感度で導き出すことによって解決する。

関連論文リスト

• Differentially Private Motif-Preserving Multi-modal Hashing [9.39195684989942]
  クロスモーダルハッシュは、画像とテキストをコンパクトなバイナリコードに符号化することで、効率的な検索を可能にする。 既存のプライバシ保護アプローチは、グラフ構造化データでは失敗する。 DMP-MHは、プライバシを表現学習から切り離すサニタイズThen-Distillフレームワークである。
  論文  参考訳（メタデータ） (2026-05-14T22:43:30Z)
• Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions [89.52532304099522]
  フェデレートラーニング(FL)は、クライアントが生データを集中せずに共有モデルを共同でトレーニングすることを可能にし、固有のプライバシーレベルを提供する。 グラデーションとモデル更新は機密情報を漏洩する可能性があるが、悪意のあるサーバはビザンティン操作のような敵攻撃をマウントする可能性がある。 これらの脆弱性は、統合されたフレームワーク内の差分プライバシー(DP)とビザンチンの堅牢性に対処する必要性を強調している。 Byz-Clip21-SGD2Mを提案する。
  論文  参考訳（メタデータ） (2026-03-24T17:39:09Z)
• Computing Maximal Per-Record Leakage and Leakage-Distortion Functions for Privacy Mechanisms under Entropy-Constrained Adversaries [19.239827561129513]
  本稿では,最大1レコードリーク,一次リーク・歪みトレードオフ,二重歪み最小化の3つの問題について検討する。 我々は凸性-凸性双対性を利用する効率的な交互最適化アルゴリズムを開発した。 この研究は、プライバシのリスクを監査し、認定されたメカニズムを設計するための計算フレームワークを提供する。
  論文  参考訳（メタデータ） (2026-01-31T12:23:24Z)
• DPSR: Differentially Private Sparse Reconstruction via Multi-Stage Denoising for Recommender Systems [5.237172334460829]
  ディファレンシャルプライバシは、レコメンデーションシステムでユーザーデータを保護するためのゴールドスタンダードとして登場した。 既存のプライバシー保護メカニズムは、プライバシー予算が厳しくなるにつれ、根本的な課題に直面している。 DPSRは,新しい3段階のデノベーションフレームワークである。
  論文  参考訳（メタデータ） (2025-12-22T00:43:29Z)
• Spectral Graph Clustering under Differential Privacy: Balancing Privacy, Accuracy, and Efficiency [53.98433419539793]
  エッジ差分プライバシー(DP)下におけるスペクトルグラフクラスタリングの問題点について検討する。 具体的には, (i) エッジフリップによるグラフ摂動と, エッジプライバシを強制する隣接行列シャッフルを併用したグラフ摂動, (ii) 次元と複雑性の複雑さを低減するために低次元空間における加法的ガウス雑音を伴うプライベートグラフプロジェクション, (iii) 収束性を維持しながらエッジDPを確保するために反復的にガウス雑音を分散するノイズの多いパワーイテレーション手法である。
  論文  参考訳（メタデータ） (2025-10-08T15:30:27Z)
• ImprovDML: Improved Trade-off in Private Byzantine-Resilient Distributed Machine Learning [22.85986751447643]
  一般的な戦略は、Byzantine-Resilientアグリゲーションルールと差分プライバシーメカニズムの統合である。 そこで我々は,プライバシ保護を同時に確保しつつ,モデルの精度を向上する ImprovDML を提案する。 モデル精度と差分プライバシーの間のトレードオフを改善することを実証する。
  論文  参考訳（メタデータ） (2025-06-18T06:53:52Z)
• $(ε, δ)$-Differentially Private Partial Least Squares Regression [1.8666451604540077]
  我々は,モデルに基づくデータのプライバシーを確保するために,$(epsilon, delta)$-differentially private PLS (edPLS)アルゴリズムを提案する。 実験により、EDPLSはトレーニングデータに固有の変動源を回復することを目的とした、効果的なプライバシー攻撃を施すことが示されている。
  論文  参考訳（メタデータ） (2024-12-12T10:49:55Z)
• Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
  我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。 従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。 本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
  論文  参考訳（メタデータ） (2022-10-05T13:13:35Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。