論文の概要: CompLeak: Deep Learning Model Compression Exacerbates Privacy Leakage
- arxiv url: http://arxiv.org/abs/2507.16872v1
- Date: Tue, 22 Jul 2025 08:02:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-24 22:33:14.70523
- Title: CompLeak: Deep Learning Model Compression Exacerbates Privacy Leakage
- Title（参考訳）: CompLeak: ディープラーニングモデル圧縮がプライバシ漏洩を悪化させる
- Authors: Na Li, Yansong Gao, Hongsheng Hu, Boyu Kuang, Anmin Fu,
- Abstract要約: 我々は3つの広く使用されている圧縮構成を調べる最初のプライバシリスクフレームワークであるCompLeakを提案する。
CompLeakには3つのバリエーションがあり、圧縮されたモデルとオリジナルのモデルの数にアクセスできる。
- 参考スコア（独自算出の注目度）: 14.170572219170158
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model compression is crucial for minimizing memory storage and accelerating inference in deep learning (DL) models, including recent foundation models like large language models (LLMs). Users can access different compressed model versions according to their resources and budget. However, while existing compression operations primarily focus on optimizing the trade-off between resource efficiency and model performance, the privacy risks introduced by compression remain overlooked and insufficiently understood. In this work, through the lens of membership inference attack (MIA), we propose CompLeak, the first privacy risk evaluation framework examining three widely used compression configurations that are pruning, quantization, and weight clustering supported by the commercial model compression framework of Google's TensorFlow-Lite (TF-Lite) and Facebook's PyTorch Mobile. CompLeak has three variants, given available access to the number of compressed models and original model. CompLeakNR starts by adopting existing MIA methods to attack a single compressed model, and identifies that different compressed models influence members and non-members differently. When the original model and one compressed model are available, CompLeakSR leverages the compressed model as a reference to the original model and uncovers more privacy by combining meta information (e.g., confidence vector) from both models. When multiple compressed models are available with/without accessing the original model, CompLeakMR innovatively exploits privacy leakage info from multiple compressed versions to substantially signify the overall privacy leakage. We conduct extensive experiments on seven diverse model architectures (from ResNet to foundation models of BERT and GPT-2), and six image and textual benchmark datasets.
- Abstract（参考訳）: モデル圧縮は、メモリストレージの最小化と、大規模言語モデル(LLM)のような最近の基礎モデルを含むディープラーニング(DL)モデルの推論の高速化に不可欠である。
ユーザーはリソースと予算に応じて、さまざまな圧縮されたモデルバージョンにアクセスすることができる。
しかし、既存の圧縮操作は主に資源効率とモデル性能のトレードオフの最適化に重点を置いているが、圧縮によって引き起こされるプライバシーリスクは見過ごされ、十分に理解されていない。
本研究では、メンバシップ推論攻撃(MIA)のレンズを通じて、GoogleのTensorFlow-Lite(TF-Lite)とFacebookのPyTorch Mobileの商用モデル圧縮フレームワークでサポートされている、プルーニング、量子化、重みクラスタリングの3つの広く使用されている圧縮構成を調べる、最初のプライバシリスク評価フレームワークであるCompLeakを提案する。
CompLeakには3つのバリエーションがあり、圧縮されたモデルとオリジナルのモデルの数にアクセスできる。
CompLeakNRは、1つの圧縮されたモデルを攻撃するために既存のMIAメソッドを採用し、異なる圧縮されたモデルがメンバーと非メンバーに異なる影響を与えることを識別することから始まる。
オリジナルのモデルと1つの圧縮モデルが利用可能になると、CompLeakSRは圧縮されたモデルを元のモデルへの参照として利用し、両方のモデルからメタ情報(例えば、信頼ベクトル)を組み合わせることでよりプライバシーを明らかにする。
CompLeakMRは、複数の圧縮されたモデルがオリジナルのモデルにアクセス/アクセスせずに利用できる場合、複数の圧縮されたバージョンからのプライバシー漏洩情報を革新的に利用して、全体的なプライバシー漏洩を実質的に表している。
ResNet から BERT と GPT-2 の基礎モデルまで) と 6 つの画像およびテキスト・ベンチマーク・データセットについて広範な実験を行った。
関連論文リスト
- Dynamic Base model Shift for Delta Compression [53.505380509713575]
デルタ圧縮はデルタパラメータの冗長性を減少させることでコスト削減を試みる。
既存のメソッドはデフォルトでベースモデルとして事前訓練されたモデルを使用し、各タスクのデルタパラメータを圧縮する。
デルタ圧縮を行う前にベースモデルを対象タスクに動的に適応させる動的ベースモデルシフト(DBMS)を提案する。
論文 参考訳（メタデータ） (2025-05-16T15:11:19Z) - A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。
ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。
当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
論文 参考訳（メタデータ） (2024-11-20T20:38:56Z) - Application Specific Compression of Deep Learning Models [0.8875650122536799]
大規模なディープラーニングモデルは圧縮され、特定のアプリケーションにデプロイされる。
私たちのゴールは、モデル圧縮プロセスをカスタマイズして、ターゲットアプリケーションにより良いパフォーマンスをもたらす圧縮モデルを作成することです。
抽出QA, 自然言語推論, パラフレーズ同定の3つの応用について, BERTファミリを用いて実験を行った。
論文 参考訳（メタデータ） (2024-09-09T06:55:38Z) - MoDeGPT: Modular Decomposition for Large Language Model Compression [59.361006801465344]
本稿では,新しい構造化圧縮フレームワークである textbfModular bfDecomposition (MoDeGPT) を紹介する。
MoDeGPTはTransformerブロックを行列対からなるモジュールに分割し、隠れた次元を減らす。
本実験では, 後方伝播を伴わないMoDeGPTが, 従来の圧縮手法と一致するか, あるいは超えていることを示す。
論文 参考訳（メタデータ） (2024-08-19T01:30:14Z) - xGen-MM (BLIP-3): A Family of Open Large Multimodal Models [152.08958880412936]
BLIP-3は大規模マルチモーダルモデルを開発するためのオープンフレームワークである。
事前訓練されたベースモデルと微調整された命令を含む4Bと14Bのモデルをリリースする。
我々のモデルは、類似のモデルサイズを持つオープンソースのLMM間での競合性能を示す。
論文 参考訳（メタデータ） (2024-08-16T17:57:01Z) - Unified Low-rank Compression Framework for Click-through Rate Prediction [15.813889566241539]
本稿では,CTR予測モデルを圧縮する低ランク分解フレームワークを提案する。
私たちのフレームワークはオリジナルのモデルよりも優れたパフォーマンスを実現できます。
我々のフレームワークは、様々なCTR予測モデルにテーブルやレイヤーを埋め込むのに利用できる。
論文 参考訳（メタデータ） (2024-05-28T13:06:32Z) - Lossless and Near-Lossless Compression for Foundation Models [11.307357041746865]
モデル圧縮性の原因を調査し,モデルに適した圧縮変種を導入し,圧縮性グループに分類する。
我々はこれらの手法がHuggingFaceのような大きなモデルハブからダウンロードされたネットワークトラフィックの1ヶ月あたりExaByte以上を節約できると見積もっている。
論文 参考訳（メタデータ） (2024-04-05T16:52:55Z) - A Survey on Transformer Compression [84.18094368700379]
自然言語処理(NLP)とコンピュータビジョン(CV)の領域においてトランスフォーマーは重要な役割を果たす
モデル圧縮法は、Transformerのメモリと計算コストを削減する。
この調査は、Transformerベースのモデルに適用することに焦点を当てた、最近の圧縮方法に関する包括的なレビューを提供する。
論文 参考訳（メタデータ） (2024-02-05T12:16:28Z) - CrAM: A Compression-Aware Minimizer [103.29159003723815]
本稿では、CrAMと呼ばれる新しい圧縮対応最小化器を提案し、最適化ステップを原則的に修正する。
CrAMは、標準のSGD/アダムベースベースラインよりも精度が高い密度のモデルを生成するが、重量計算では安定である。
CrAMは、転送学習のためにうまく機能するスパースモデルを生成することができ、GPUハードウェアでサポートされている半構造化の2:4プルーニングパターンでも機能する。
論文 参考訳（メタデータ） (2022-07-28T16:13:28Z) - What do Compressed Large Language Models Forget? Robustness Challenges
in Model Compression [68.82486784654817]
本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。
本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。
サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
論文 参考訳（メタデータ） (2021-10-16T00:20:04Z) - Lossless Compression with Latent Variable Models [4.289574109162585]
我々は「非対称数値系を持つビットバック」(bb-ans)と呼ぶ潜在変数モデルを用いる。
この方法は、エンコードおよびデコードステップをインターリーブし、データのバッチ圧縮時に最適なレートを達成する。
我々は,深層生成モデルを用いた圧縮の高速プロトタイピングのために開発したモジュール型ソフトウェアフレームワークである'craystack'について述べる。
論文 参考訳（メタデータ） (2021-04-21T14:03:05Z) - A flexible, extensible software framework for model compression based on
the LC algorithm [10.787390511207683]
ニューラルネットワークや他の機械学習モデルを最小限の労力で圧縮できるソフトウェアフレームワークを提案する。
ライブラリはPythonとPyTorchで書かれており、Githubで入手できる。
論文 参考訳（メタデータ） (2020-05-15T21:14:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。