論文の概要: How to 0wn NAS in Your Spare Time

• arxiv url: http://arxiv.org/abs/2002.06776v2
• Date: Thu, 25 Feb 2021 23:04:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-31 13:11:25.100393
• Title: How to 0wn NAS in Your Spare Time
• Title（参考訳）: 空き時間でNASをゼロにする方法
• Authors: Sanghyun Hong, Michael Davinroy, Yi\u{g}itcan Kaya, Dana Dachman-Soled, Tudor Dumitra\c{s}
• Abstract要約: 本研究では,キャッシュ側チャネル攻撃による情報漏洩を利用して,新しいディープラーニングシステムの主要コンポーネントを再構築するアルゴリズムを設計する。 我々は、マルウェア検出のための新しいデータ前処理パイプラインであるMalConvと、画像ネット分類のための新しいネットワークアーキテクチャであるProxylessNAS CPU-NASを再構築できることを実験的に実証した。
• 参考スコア（独自算出の注目度）: 11.997555708723523
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: New data processing pipelines and novel network architectures increasingly drive the success of deep learning. In consequence, the industry considers top-performing architectures as intellectual property and devotes considerable computational resources to discovering such architectures through neural architecture search (NAS). This provides an incentive for adversaries to steal these novel architectures; when used in the cloud, to provide Machine Learning as a Service, the adversaries also have an opportunity to reconstruct the architectures by exploiting a range of hardware side channels. However, it is challenging to reconstruct novel architectures and pipelines without knowing the computational graph (e.g., the layers, branches or skip connections), the architectural parameters (e.g., the number of filters in a convolutional layer) or the specific pre-processing steps (e.g. embeddings). In this paper, we design an algorithm that reconstructs the key components of a novel deep learning system by exploiting a small amount of information leakage from a cache side-channel attack, Flush+Reload. We use Flush+Reload to infer the trace of computations and the timing for each computation. Our algorithm then generates candidate computational graphs from the trace and eliminates incompatible candidates through a parameter estimation process. We implement our algorithm in PyTorch and Tensorflow. We demonstrate experimentally that we can reconstruct MalConv, a novel data pre-processing pipeline for malware detection, and ProxylessNAS- CPU, a novel network architecture for the ImageNet classification optimized to run on CPUs, without knowing the architecture family. In both cases, we achieve 0% error. These results suggest hardware side channels are a practical attack vector against MLaaS, and more efforts should be devoted to understanding their impact on the security of deep learning systems.
• Abstract（参考訳）: 新しいデータ処理パイプラインと新しいネットワークアーキテクチャは、ディープラーニングの成功を促している。 その結果、業界はトップパフォーマンスアーキテクチャを知的財産とみなし、ニューラルアーキテクチャサーチ(NAS)を通じてそのようなアーキテクチャを発見するためにかなりの計算資源を割いている。 クラウドで使用する場合、マシンラーニング・アズ・ア・サービスの提供には、さまざまなハードウェアサイドチャネルを活用することで、アーキテクチャを再構築する機会も用意されている。 しかし、計算グラフ(例えば、層、分岐またはスキップ接続)、アーキテクチャパラメータ(例えば、畳み込み層におけるフィルタの数)、または特定の前処理ステップ(例えば、埋め込み)を知らずに、新しいアーキテクチャとパイプラインを再構築することは困難である。 本稿では,キャッシュ側チャネル攻撃であるfash+reloadから少量の情報漏洩を利用して,新しい深層学習システムのキーコンポーネントを再構築するアルゴリズムを考案する。 Flush+Reloadを使って計算のトレースと各計算のタイミングを推測する。 提案アルゴリズムはトレースから候補計算グラフを生成し,パラメータ推定プロセスを通じて非互換な候補を除去する。 我々はPyTorchとTensorflowにアルゴリズムを実装した。 我々は、マルウェア検出のための新しいデータ前処理パイプラインであるMalConvと、アーキテクチャファミリを知らずにCPU上で動作するように最適化されたImageNet分類のための新しいネットワークアーキテクチャであるProxylessNAS- CPUを再構築できることを実験的に実証した。 どちらの場合も0%の誤差を達成する。 これらの結果から、ハードウェアサイドチャネルはMLaaSに対する実用的な攻撃ベクターであり、ディープラーニングシステムのセキュリティへの影響を理解するために、より多くの努力が注がれていることが示唆された。

関連論文リスト

• Hardware Aware Evolutionary Neural Architecture Search using Representation Similarity Metric [12.52012450501367]
  ハードウェア対応ニューラルアーキテクチャサーチ(ハードウェア対応ニューラルアーキテクチャサーチ、HW-NAS)は、特定のタスクとターゲットハードウェアのためにニューラルネットワークのアーキテクチャを自動的に設計する技術である。 HW-NASでは、重要な計算資源を必要とするため、候補アーキテクチャの性能を評価することが重要な課題である。 本稿では,HW-EvRSNASと呼ばれるハードウェア対応進化型NAS手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T11:58:40Z)
• GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
  最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。 そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
  論文  参考訳（メタデータ） (2023-05-15T12:44:54Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
  本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。 実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
  論文  参考訳（メタデータ） (2022-07-04T09:05:25Z)
• Auto-tuning of Deep Neural Networks by Conflicting Layer Removal [0.0]
  トレーニングモデルのテスト精度を低下させる層を識別する新しい手法を提案する。 矛盾する層は、トレーニングの開始時に早期に検出される。 訓練された残存ネットワークのレイヤの約60%が、アーキテクチャから完全に取り除かれることを示しています。
  論文  参考訳（メタデータ） (2021-03-07T11:51:55Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
  本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。 我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。 KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
  論文  参考訳（メタデータ） (2020-10-26T11:57:37Z)
• Stage-Wise Neural Architecture Search [65.03109178056937]
  ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
  論文  参考訳（メタデータ） (2020-04-23T14:16:39Z)
• A Privacy-Preserving Distributed Architecture for Deep-Learning-as-a-Service [68.84245063902908]
  本稿では,ディープラーニング・アズ・ア・サービスのための分散アーキテクチャを提案する。 クラウドベースのマシンとディープラーニングサービスを提供しながら、ユーザの機密データを保存できる。
  論文  参考訳（メタデータ） (2020-03-30T15:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。