論文の概要: Beyond Slow Signs in High-fidelity Model Extraction

• arxiv url: http://arxiv.org/abs/2406.10011v1
• Date: Fri, 14 Jun 2024 13:24:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 13:35:39.755762
• Title: Beyond Slow Signs in High-fidelity Model Extraction
• Title（参考訳）: 高忠実度モデル抽出におけるスローサインを超えて
• Authors: Hanna Foerster, Robert Mullins, Ilia Shumailov, Jamie Hayes,
• Abstract要約: 深層ニューラルネットワークは、訓練に費用がかかり、知的財産価値が豊富である。 それまでの攻撃は、少なくとも3つの隠蔽層を持つランダムデータで訓練されたモデルに対して、逆エンジニアリングモデルパラメーターをfloat64の精度まで向上させることに成功した。 我々は,従来の手法を統合した統一最適化を導入し,計算ツールが性能に著しく影響を及ぼすことを示した。
• 参考スコア（独自算出の注目度）: 18.330719989672442
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks, costly to train and rich in intellectual property value, are increasingly threatened by model extraction attacks that compromise their confidentiality. Previous attacks have succeeded in reverse-engineering model parameters up to a precision of float64 for models trained on random data with at most three hidden layers using cryptanalytical techniques. However, the process was identified to be very time consuming and not feasible for larger and deeper models trained on standard benchmarks. Our study evaluates the feasibility of parameter extraction methods of Carlini et al. [1] further enhanced by Canales-Mart\'inez et al. [2] for models trained on standard benchmarks. We introduce a unified codebase that integrates previous methods and reveal that computational tools can significantly influence performance. We develop further optimisations to the end-to-end attack and improve the efficiency of extracting weight signs by up to 14.8 times compared to former methods through the identification of easier and harder to extract neurons. Contrary to prior assumptions, we identify extraction of weights, not extraction of weight signs, as the critical bottleneck. With our improvements, a 16,721 parameter model with 2 hidden layers trained on MNIST is extracted within only 98 minutes compared to at least 150 minutes previously. Finally, addressing methodological deficiencies observed in previous studies, we propose new ways of robust benchmarking for future model extraction attacks.
• Abstract（参考訳）: 深層ニューラルネットワークは、知的財産価値の訓練に費用がかかり、その機密性を侵害するモデル抽出攻撃によってますます脅かされている。 従来の攻撃は、暗号解析技術を用いて少なくとも3つの隠蔽層を持つランダムデータで訓練されたモデルに対して、fat64の精度まで逆エンジニアリングモデルパラメーターを成功させた。 しかし、このプロセスは非常に時間がかかり、標準ベンチマークでトレーニングされた大規模でより深いモデルでは実現不可能であることが判明した。 本研究では、標準ベンチマークでトレーニングしたモデルに対して、Carliini et al [1] のパラメータ抽出手法が Canales-Mart\inez et al [2] によりさらに強化される可能性を評価する。 我々は,従来の手法を統合した統一コードベースを導入し,計算ツールが性能に大きな影響を及ぼすことを示した。 終末攻撃に対するさらなる最適化を開発し、ニューロンの抽出がより容易で難しいことから、従来の方法と比較して最大14.8倍の重量標識の抽出効率を向上させる。 従来の仮定とは対照的に、重みの抽出ではなく重みの抽出を重要なボトルネックとして特定する。 MNISTでトレーニングされた2つの隠れ層を持つ16,721のパラメータモデルを,少なくとも150分前と比較して98分以内で抽出した。 最後に,過去の研究で観察された方法論的欠陥に対処し,将来のモデル抽出攻撃に対するロバストなベンチマーク手法を提案する。

関連論文リスト

• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• Optimizing Dense Feed-Forward Neural Networks [0.0]
  本稿では,プルーニングと移動学習に基づくフィードフォワードニューラルネットワークの構築手法を提案する。 提案手法では,パラメータ数を70%以上圧縮できる。 また、ニューラルネットワークをスクラッチからトレーニングしたモデルと元のモデルを比較し、トランスファー学習レベルを評価した。
  論文  参考訳（メタデータ） (2023-12-16T23:23:16Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Calibrating the Rigged Lottery: Making All Tickets Reliable [14.353428281239665]
  信頼性校正を改善したスパースモデルを生成するための新しいスパーストレーニング手法を提案する。 本手法は,計算量や記憶負荷をわずかに増加させるだけで,同時に精度を向上する。
  論文  参考訳（メタデータ） (2023-02-18T15:53:55Z)
• Careful What You Wish For: on the Extraction of Adversarially Trained Models [2.707154152696381]
  最近の機械学習(ML)モデルに対する攻撃は、いくつかのセキュリティとプライバシの脅威を引き起こす。 本稿では,敵の学習したモデルに対する抽出攻撃を評価する枠組みを提案する。 本研究では, 自然学習環境下で得られたモデルよりも, 敵の訓練を受けたモデルの方が抽出攻撃に対して脆弱であることを示す。
  論文  参考訳（メタデータ） (2022-07-21T16:04:37Z)
• Deep vs. Shallow Learning: A Benchmark Study in Low Magnitude Earthquake Detection [0.0]
  弾性ネット駆動データマイニングによる4つの機能の追加により,既存のロジスティック回帰モデルを構築した。 我々は,Groningenデータに基づいて事前学習したディープ(CNN)モデルに対する拡張ロジスティック回帰モデルの性能を,段階的に増加する雑音-信号比に基づいて評価する。 各比について、我々のロジスティック回帰モデルがすべての地震を正確に検出するのに対し、深部モデルは地震の約20%を検出できないことを発見した。
  論文  参考訳（メタデータ） (2022-05-01T17:59:18Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)
• Provable Benefits of Overparameterization in Model Compression: From Double Descent to Pruning Neural Networks [38.153825455980645]
  最近の実証的な証拠は、オーバライゼーションの実践が大きなモデルのトレーニングに利益をもたらすだけでなく、軽量モデルの構築を支援することも示している。 本稿では,モデル刈り込みの高次元ツールセットを理論的に特徴付けることにより,これらの経験的発見に光を当てる。 もっとも情報に富む特徴の位置が分かっていても、我々は大きなモデルに適合し、刈り取るのがよい体制を解析的に特定する。
  論文  参考訳（メタデータ） (2020-12-16T05:13:30Z)
• Learnable Boundary Guided Adversarial Training [66.57846365425598]
  私たちは、あるクリーンモデルからのモデルロジットを使用して、別のロバストモデルの学習をガイドします。 我々は、CIFAR-100上で、追加の実データや合成データなしで、新しい最先端のロバスト性を実現する。
  論文  参考訳（メタデータ） (2020-11-23T01:36:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。