論文の概要: Learnability and Privacy Vulnerability are Entangled in a Few Critical Weights

• arxiv url: http://arxiv.org/abs/2603.13186v1
• Date: Fri, 13 Mar 2026 17:20:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-16 17:38:12.221553
• Title: Learnability and Privacy Vulnerability are Entangled in a Few Critical Weights
• Title（参考訳）: 学習可能性とプライバシの脆弱性は重みに絡み合っている
• Authors: Xingli Fang, Jung-Eun Kim,
• Abstract要約: プライバシーを守るために、我々は重要な重みを得点し、それらのニューロンを捨てる代わりに、微調整のための重みだけを巻き戻します。 広範にわたる実験により,本機構は有効性を維持しつつ,メンバーシップ推論攻撃に対して優れたレジリエンスを示すことがわかった。
• 参考スコア（独自算出の注目度）: 8.210473195536077
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Prior approaches for membership privacy preservation usually update or retrain all weights in neural networks, which is costly and can lead to unnecessary utility loss or even more serious misalignment in predictions between training data and non-training data. In this work, we observed three insights: i) privacy vulnerability exists in a very small fraction of weights; ii) however, most of those weights also critically impact utility performance; iii) the importance of weights stems from their locations rather than their values. According to these insights, to preserve privacy, we score critical weights, and instead of discarding those neurons, we rewind only the weights for fine-tuning. We show that, through extensive experiments, this mechanism exhibits outperforming resilience in most cases against Membership Inference Attacks while maintaining utility.
• Abstract（参考訳）: メンバーシッププライバシ保護の以前のアプローチは通常、ニューラルネットワークのすべての重みを更新または再トレーニングするが、これは費用がかかり、不要なユーティリティ損失や、トレーニングデータと非トレーニングデータの間の予測にさらに深刻な誤りを引き起こす可能性がある。 この研究で、私たちは3つの洞察を観察しました。 一 極めて少数の重みにプライバシーの脆弱性が存在すること。 二 しかし、これらの重量のほとんどが実用性能にも重大な影響を及ぼす。 三 重みの重要性は、その価値よりも、その位置に由来する。 これらの知見によると、プライバシを維持するために、我々は重要な重みを得点し、それらのニューロンを捨てる代わりに、微調整のための重みだけを巻き戻す。 広範にわたる実験により,本機構は有効性を維持しつつ,メンバーシップ推論攻撃に対して優れたレジリエンスを示すことがわかった。

関連論文リスト

• Differential Privacy in Two-Layer Networks: How DP-SGD Harms Fairness and Robustness [2.9327666088683664]
  本稿では,差分的にプライベートな勾配の特徴学習ダイナミクスを解析するための統合された特徴中心フレームワークを提案する。 プライバシに要求されるノイズが,最適機能学習ネットワークにつながることを実証する。
  論文  参考訳（メタデータ） (2026-03-05T07:19:31Z)
• Teleportation-Based Defenses for Privacy in Approximate Machine Unlearning [8.735490611482364]
  近似マシンアンラーニングは、訓練されたモデルから特定のデータポイントの影響を効率的に除去することを目的としている。 事前学習モデルと後学習モデルにアクセスできる敵は、メンバーシップ推論やデータ再構成に彼らの違いを利用することができる。 これらの脆弱性は2つの要因から生じることが示される: 忘れられたサンプルの大きな勾配ノルムと、未学習パラメータが元のモデルに近づいたこと。
  論文  参考訳（メタデータ） (2025-11-29T01:50:33Z)
• Learning More with Less: A Generalizable, Self-Supervised Framework for Privacy-Preserving Capacity Estimation with EV Charging Data [84.37348569981307]
  自己教師付き事前学習に基づく第一種能力推定モデルを提案する。 我々のモデルは一貫して最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-10-05T08:58:35Z)
• No Prior, No Leakage: Revisiting Reconstruction Attacks in Trained Neural Networks [13.146179839752618]
  ニューラルネットワークによるトレーニングデータにより、プライバシとセキュリティに対する懸念が高まっている。 近年の研究では, ある条件下では, モデルパラメータから直接トレーニングセットの一部を再構築できることが示されている。 既存の再建手法の弱点と限界を分析し,失敗する条件を同定する。
  論文  参考訳（メタデータ） (2025-09-25T15:14:08Z)
• Exploring Criteria of Loss Reweighting to Enhance LLM Unlearning [66.8042627609456]
  損失再重み付けは、大きな言語モデル(LLM)を用いた機械学習において大きなメリットを示している。 本稿では,損失再重み付け,すなわち飽和と重要度という2つの異なる目標を同定する。 飽和度と重要度の両方の利点を組み合わせた簡易な再重み付け手法であるSatImpを提案する。
  論文  参考訳（メタデータ） (2025-05-17T10:41:22Z)
• Understanding and Minimising Outlier Features in Neural Network Training [33.980628229566555]
  Outlier Features (OFs) は、ニューラルネットワーク(NN)の幅の平均よりも、アクティベーションがかなり大きいニューロンである。 建築と最適化の選択がOFに与える影響について検討し、トレーニング中のOFを最小化するための実践的な洞察を提供する。 新規な非正規化変圧器ブロック,outlier Protected blockを導入し,非対角型プリコンディショニングオプティマイザの既知の利点を示す。
  論文  参考訳（メタデータ） (2024-05-29T17:11:28Z)
• Understanding Robust Overfitting from the Feature Generalization Perspective [61.770805867606796]
  逆行訓練(AT)は、逆行摂動を自然データに組み込むことで、堅牢なニューラルネットワークを構築する。 これはロバストオーバーフィッティング(RO)の問題に悩まされ、モデルのロバスト性を著しく損なう。 本稿では,新しい特徴一般化の観点からROを考察する。
  論文  参考訳（メタデータ） (2023-10-01T07:57:03Z)
• The Emergence of Essential Sparsity in Large Pre-trained Models: The Weights that Matter [113.35761858962522]
  本稿では,複数の大きな事前学習された視覚と言語変換器のスパースパターンを誘導する。 本稿では,性能がはるかに速く低下する急激な落差点で定義される本質的疎度の存在を提案する。 また、N:Mのスパーシティパターンと近代的な大規模言語モデルに有効であることを示す。
  論文  参考訳（メタデータ） (2023-06-06T15:49:09Z)
• Re-thinking Data Availablity Attacks Against Deep Neural Networks [53.64624167867274]
  本稿では、未学習例の概念を再検討し、既存のロバストな誤り最小化ノイズが不正確な最適化目標であることを示す。 本稿では,計算時間要件の低減による保護性能の向上を図った新しい最適化パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-05-18T04:03:51Z)
• A Blessing of Dimensionality in Membership Inference through Regularization [29.08230123469755]
  モデルのパラメータ数がいかにプライバシーとユーティリティのトレードオフを引き起こすかを示す。 次に、適切な一般化正規化と組み合わせることで、モデルのパラメータの数を増やすことで、そのプライバシと性能の両方を実際に増加させることができることを示す。
  論文  参考訳（メタデータ） (2022-05-27T15:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。