論文の概要: Matryoshka: Stealing Functionality of Private ML Data by Hiding Models in Model

• arxiv url: http://arxiv.org/abs/2206.14371v1
• Date: Wed, 29 Jun 2022 02:36:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-30 19:10:37.640772
• Title: Matryoshka: Stealing Functionality of Private ML Data by Hiding Models in Model
• Title（参考訳）: matryoshka: モデルにモデルを隠すことでプライベートmlデータの機能を盗む
• Authors: Xudong Pan, Yifan Yan, Shengyao Zhang, Mi Zhang, Min Yang
• Abstract要約: Matryoshkaは、無関係にスケジュールされたDNNモデルを使用したインサイダー攻撃である。 i) High Capacity -- キャリアモデルのユーティリティ損失がほとんどないため、Materyoshkaは26倍大きなシークレットモデルや、異なるアプリケーションドメインにまたがるさまざまなアーキテクチャの8つのシークレットモデルを隠すことができる。
• 参考スコア（独自算出の注目度）: 22.039020102147123
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper, we present a novel insider attack called Matryoshka, which employs an irrelevant scheduled-to-publish DNN model as a carrier model for covert transmission of multiple secret models which memorize the functionality of private ML data stored in local data centers. Instead of treating the parameters of the carrier model as bit strings and applying conventional steganography, we devise a novel parameter sharing approach which exploits the learning capacity of the carrier model for information hiding. Matryoshka simultaneously achieves: (i) High Capacity -- With almost no utility loss of the carrier model, Matryoshka can hide a 26x larger secret model or 8 secret models of diverse architectures spanning different application domains in the carrier model, neither of which can be done with existing steganography techniques; (ii) Decoding Efficiency -- once downloading the published carrier model, an outside colluder can exclusively decode the hidden models from the carrier model with only several integer secrets and the knowledge of the hidden model architecture; (iii) Effectiveness -- Moreover, almost all the recovered models have similar performance as if it were trained independently on the private data; (iv) Robustness -- Information redundancy is naturally implemented to achieve resilience against common post-processing techniques on the carrier before its publishing; (v) Covertness -- A model inspector with different levels of prior knowledge could hardly differentiate a carrier model from a normal model.
• Abstract（参考訳）: 本稿では,ローカルデータセンタに格納されたプライベートMLデータの機能を記憶する複数のシークレットモデルを隠蔽するキャリアモデルとして,無関係にスケジュールされたDNNモデルを用いる,Matryoshkaと呼ばれるインサイダー攻撃を提案する。 本研究では,キャリアモデルのパラメータをビット文字列として扱い,従来のステガノグラフィーを適用する代わりに,キャリアモデルの学習能力を利用した新しいパラメータ共有手法を提案する。 matryoshka が同時に達成する。 (i) 高容量 -- キャリアモデルのユーティリティ損失がほとんどなく、matryoshkaは26倍の大きなシークレットモデルや、キャリアモデルの異なるアプリケーションドメインにまたがる多様なアーキテクチャの8つのシークレットモデルを隠蔽することができる。 (ii)デコーディング効率 -- 公開されたキャリアモデルをダウンロードすると、外部のコルーダーは、いくつかの整数秘密と隠れたモデルアーキテクチャに関する知識だけで、隠れたモデルをキャリアモデルから排他的にデコードすることができる。 (iii)有効性 --さらに、ほぼすべての回収されたモデルは、個人データに基づいて独立に訓練されたかのように、同様の性能を有する。 (iv)ロバスト性 -- 情報冗長性は,公開前のキャリア上の一般的な後処理技術に対するレジリエンスを達成するために,自然に実装される。 (v)カバーネス -- 事前知識のレベルが異なるモデルインスペクタは、キャリアモデルを通常のモデルとほとんど区別できませんでした。

関連論文リスト

• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• Towards Scalable and Robust Model Versioning [30.249607205048125]
  ディープラーニングモデルへのアクセスを目的とした悪意ある侵入が増えている。 異なる攻撃特性を持つモデルの複数バージョンを生成する方法を示す。 モデル学習データにパラメータ化された隠れ分布を組み込むことでこれを実現できることを示す。
  論文  参考訳（メタデータ） (2024-01-17T19:55:49Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Co(ve)rtex: ML Models as storage channels and their (mis-)applications [2.792027541710663]
  機械学習システムでは、不注意な状態と未定義の振る舞いが重大な脆弱性の原因であることが示されている。 MLモデルは,パラメータ化の超過に伴って増大するキャパシティを持つストレージチャネルであると考えている。 本稿では,ML固有の置換に基づく誤り訂正プロトコルを含む,このケースにおけるキャパシティ向上のための最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T19:57:10Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
  モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。 本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。 実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-10-08T16:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。