論文の概要: Privacy Vulnerabilities of Attention Layers in Tabular Foundation Models and Protection of High-Risk Queries

• arxiv url: http://arxiv.org/abs/2606.26021v1
• Date: Wed, 24 Jun 2026 16:42:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.397957
• Title: Privacy Vulnerabilities of Attention Layers in Tabular Foundation Models and Protection of High-Risk Queries
• Title（参考訳）: タブラルファウンデーションモデルにおけるアテンション層のプライバシー脆弱性とハイリスククエリの保護
• Abstract要約: 本稿では,アテンション機構によって生成された予測が,効果的なメンバーシップ推論攻撃(MIAs)を可能にする十分な情報を漏らすことを示す。 このリスクを軽減するために、$k$匿名の原則にインスパイアされた推論時防御を導入します。
• 参考スコア（独自算出の注目度）: 12.545534835317481
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Tabular foundation models are commonly assumed to present limited privacy concerns as they are often pre-trained on large collections of synthetic data. However, these models leverage in-context learning, where sensitive records may be provided directly at inference time as labelled context examples. In this paper, we demonstrate that predictions generated via the attention mechanism leak sufficient information to enable effective Membership Inference Attacks (MIAs). To highlight this vulnerability, we propose AMIA (Attention-based Membership Inference Attack), a shadow-model-free attack that exploits the concentration of transformer attention patterns. Our results show that attention mechanisms reveal strong membership signals, which exceed classical confidence-based attacks, achieving an average gain of 7.7\%, specially in low false-positive regimes. To mitigate this risk, we introduce an inference-time defence inspired by $k$-anonymity principles. This approach reduces the uniqueness of context-key representations without introducing random noise or retraining the model. By targeting only high-risk queries identified through AMIA scores, the defence substantially reduces membership leakage of this attack by an average of 50\% and 25\% against confidence-based attacks, while preserving predictive utility with only 3.9\% performance degradation. Beyond showing that context examples are vulnerable, we further demonstrate that fine-tuning introduces an additional source of privacy risk. In particular, samples whose prediction confidence increases after fine-tuning become more susceptible to MIAs, indicating that fine-tuning can amplify memorisation and expose sensitive training information through confidence shifts.
• Abstract（参考訳）: タブラル基礎モデルは、しばしば大量の合成データの収集に事前訓練されているため、プライバシー上の懸念が限定されていると一般的に考えられている。 しかし、これらのモデルは、ラベル付きコンテキストの例として推論時に、センシティブなレコードを直接提供することができる、コンテキスト内学習を活用している。 本稿では,アテンション機構によって生成された予測が,効果的なメンバーシップ推論攻撃(MIA)を実現するのに十分な情報を漏らすことを示す。 この脆弱性を浮き彫りにしたAMIA(Attention-based Membership Inference Attack)を提案する。 その結果, 注意機構は, 古典的信頼度に基づく攻撃を超越した強いメンバーシップ信号を示し, とくに偽陽性の低体制下では平均7.7 %のゲインを達成していることがわかった。 このリスクを軽減するために、$k$匿名の原則にインスパイアされた推論時の防御を導入する。 このアプローチは、ランダムノイズやモデルの再学習を伴わずに、コンテキストキー表現の独特性を低下させる。 AMIAスコアで特定される高リスククエリのみをターゲットとすることにより、このディフェンスは、信頼性ベースの攻撃に対して平均50\%と25\%のメンバシップリークを著しく低減し、パフォーマンスがわずか3.9\%の予測ユーティリティを保持する。 コンテキストのサンプルが脆弱であることを示すだけでなく、微調整によってさらなるプライバシーリスクがもたらされることを示す。 特に、微調整後の予測信頼度が上昇するサンプルは、MIAの影響を受けやすくなり、微調整が暗記を増幅し、信頼シフトを通じてセンシティブなトレーニング情報を公開することが示唆された。

関連論文リスト

• Boundary-targeted Membership Inference Attacks on Safety Classifiers [70.20833439671131]
  安全分類器は、セルフハームとメンタルヘルスの議論を含むセンシティブなデータセットに基づいて訓練される。 低信頼例を識別する新たな境界目標選択戦略を導入する。 実験により、相手は会話の19%を安全分類器が5%の偽陽性率でユーザーの苦痛を示すようにフラグ付けして回復できることが示された。 これは最先端のMIAメソッドだけで攻撃するより3.5ドル高い。
  論文  参考訳（メタデータ） (2026-05-21T12:05:22Z)
• Leveraging Soft Prompts for Privacy Attacks in Federated Prompt Tuning [24.914116986408327]
  本稿では,フェデレートされたプロンプトチューニングに適したメンバシップ推論攻撃であるPromptMIAを提案する。 PromptMIAは、様々なベンチマークデータセットに対して、このゲームにおいて一貫して高い優位性を発揮することを実証的に示します。 結果は、現在の防衛に対する非自明な課題を強調し、その制限に関する洞察を提供する。
  論文  参考訳（メタデータ） (2026-01-10T17:50:05Z)
• VoxGuard: Evaluating User and Attribute Privacy in Speech via Membership Inference Attacks [51.68795949691009]
  差分プライバシとメンバシップ推論に基づくフレームワークであるVoxGuardを紹介した。 属性については, 匿名化後も, 性別やアクセントをほぼ完全精度で再現できることが示唆された。 以上の結果から,EERはリークを著しく過小評価し,低FPR評価の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-09-22T20:57:48Z)
• Confidential Guardian: Cryptographically Prohibiting the Abuse of Model Abstention [65.47632669243657]
  不正直な機関は、不確実性の観点からサービスを差別または不正に否定する機構を利用することができる。 我々は、ミラージュと呼ばれる不確実性誘導攻撃を導入することで、この脅威の実践性を実証する。 本研究では,参照データセット上のキャリブレーションメトリクスを分析し,人工的に抑制された信頼度を検出するフレームワークであるConfidential Guardianを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:47:50Z)
• Unveiling Impact of Frequency Components on Membership Inference Attacks for Diffusion Models [51.179816451161635]
  メンバーシップ推論アタック(MIA)は、モデルのトレーニングフェーズで特定のデータが使用されたかどうかを確認するように設計されている。 我々はそれらを、会員識別のための会員スコアを計算する統一的な汎用パラダイムに定式化する。 このパラダイムの下では、拡散モデルが高周波情報を処理する方法において、既存の攻撃が固有の欠陥を見落としていることを実証的に見出す。 本稿では, プラグアンドプレイ方式の高周波フィルタモジュールを提案する。
  論文  参考訳（メタデータ） (2025-05-27T09:50:11Z)
• Disparate Privacy Vulnerability: Targeted Attribute Inference Attacks and Defenses [1.740992908651449]
  潜在的な脅威は、トレーニングデータ内のエンティティのパブリックな非センシティブな属性を使用して、トレーニングされたモデルの逆クエリによって発生します。 我々は、データセット内のリスクの高いグループを識別することを目的とした、分散推論攻撃と呼ばれる新しい推論攻撃を開発する。 また、モデル性能を同時に維持し、標的攻撃のリスクを防止できる新規かつ効果的な格差緩和手法を初めて導入する。
  論文  参考訳（メタデータ） (2025-04-05T02:58:37Z)
• Do Fairness Interventions Come at the Cost of Privacy: Evaluations for Binary Classifiers [17.243744418309593]
  我々は、メンバーシップ推論攻撃(MIA)と属性推論攻撃(AIA)により、公平性向上したバイナリ分類器のプライバシーリスクを評価する。 公正なモデルと偏見のあるモデルの間の予測不一致を利用して、MIAとAIAの両方に対する高度な攻撃結果をもたらす潜在的な脅威メカニズムを明らかにする。 本研究は、フェアネス研究における未調査のプライバシー上の脅威を明らかにし、モデル展開前に潜在的なセキュリティ脆弱性を徹底的に評価することを提唱する。
  論文  参考訳（メタデータ） (2025-03-08T10:21:21Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• From Mean to Extreme: Formal Differential Privacy Bounds on the Success of Real-World Data Reconstruction Attacks [54.25638567385662]
  機械学習における微分プライバシーは、しばしばメンバーシップ推論に対する保証として解釈される。 DP予算を定量的な保護に翻訳することで、データ再構築の脅威を悪化させることは、依然として困難な課題である。 本稿では、実証された"ゼロスクラッチ"攻撃のメカニズムに合わせた、最初の公式なプライバシー境界を導出することで、臨界ギャップを埋める。
  論文  参考訳（メタデータ） (2024-02-20T09:52:30Z)
• Systematic Evaluation of Privacy Risks of Machine Learning Models [41.017707772150835]
  メンバーシップ推論攻撃に対する事前の取り組みは、プライバシーリスクを著しく過小評価する可能性があることを示す。 まず、既存の非ニューラルネットワークベースの推論攻撃を改善することで、メンバーシップ推論のプライバシリスクをベンチマークする。 次に、プライバシリスクスコアと呼ばれる新しい指標を定式化し、導出することで、詳細なプライバシ分析のための新しいアプローチを導入する。
  論文  参考訳（メタデータ） (2020-03-24T00:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。