論文の概要: GOAT: GPU Outsourcing of Deep Learning Training With Asynchronous Probabilistic Integrity Verification Inside Trusted Execution Environment

• arxiv url: http://arxiv.org/abs/2010.08855v1
• Date: Sat, 17 Oct 2020 20:09:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 12:13:03.141477
• Title: GOAT: GPU Outsourcing of Deep Learning Training With Asynchronous Probabilistic Integrity Verification Inside Trusted Execution Environment
• Title（参考訳）: GOAT: 信頼された実行環境内での非同期確率積分検証によるディープラーニングトレーニングのGPUアウトソーシング
• Authors: Aref Asvadishirehjini (1), Murat Kantarcioglu (1), Bradley Malin (2) ((1) University of Texas at Dallas, (2) Vanderbilt University)
• Abstract要約: Deep Neural Networks(DNN)に基づく機械学習モデルは、自動運転車から新型コロナウイルスの治療発見まで、さまざまなアプリケーションにますます導入されている。 DNNを学習するために必要な計算能力をサポートするために、専用のハードウェアサポートを備えたクラウド環境が重要なインフラストラクチャとして登場した。 これらの課題に対処する様々なアプローチが開発され、信頼できる実行環境(TEE)上に構築されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models based on Deep Neural Networks (DNNs) are increasingly deployed in a wide range of applications ranging from self-driving cars to COVID-19 treatment discovery. To support the computational power necessary to learn a DNN, cloud environments with dedicated hardware support have emerged as critical infrastructure. However, there are many integrity challenges associated with outsourcing computation. Various approaches have been developed to address these challenges, building on trusted execution environments (TEE). Yet, no existing approach scales up to support realistic integrity-preserving DNN model training for heavy workloads (deep architectures and millions of training examples) without sustaining a significant performance hit. To mitigate the time gap between pure TEE (full integrity) and pure GPU (no integrity), we combine random verification of selected computation steps with systematic adjustments of DNN hyper-parameters (e.g., a narrow gradient clipping range), hence limiting the attacker's ability to shift the model parameters significantly provided that the step is not selected for verification during its training phase. Experimental results show the new approach achieves 2X to 20X performance improvement over pure TEE based solution while guaranteeing a very high probability of integrity (e.g., 0.999) with respect to state-of-the-art DNN backdoor attacks.
• Abstract（参考訳）: Deep Neural Networks(DNN)に基づく機械学習モデルは、自動運転車から新型コロナウイルス治療発見まで、幅広いアプリケーションに展開されている。 DNNを学習するために必要な計算能力をサポートするために、専用ハードウェアをサポートするクラウド環境が重要なインフラストラクチャとして登場した。 しかし、アウトソーシング計算には多くの整合性の問題がある。 これらの課題に対処するために,trusted execution environment (tee) に基づいて,さまざまなアプローチが開発されている。 しかし、大規模なワークロード(ディープアーキテクチャと数百万のトレーニング例)に対する現実的な完全性を保存するDNNモデルトレーニングをサポートするために、パフォーマンスに大きな打撃を与えることなく、既存のアプローチはスケールしない。 純粋なTEE(完全整合性)と純粋なGPU(完全整合性を持たない)の時間ギャップを軽減するため、選択された計算ステップのランダムな検証とDNNハイパーパラメータの体系的な調整(例えば、狭い勾配のクリッピング範囲)を組み合わせることにより、トレーニングフェーズの検証のためにステップが選択されていないことを条件として、攻撃者がモデルパラメータをシフトする能力を著しく制限する。 実験結果から,従来のDNNバックドア攻撃に対して高い整合性(0.999など)を保証しながら,純粋なTEEソリューションよりも2倍から20倍の性能向上を実現した。

関連論文リスト

• Data-Driven Lipschitz Continuity: A Cost-Effective Approach to Improve Adversarial Robustness [47.9744734181236]
  我々は、ディープニューラルネットワーク(DNN)の敵攻撃に対する堅牢性を証明するために、リプシッツ連続性の概念を探求する。 本稿では,入力領域を制約範囲に再マップし,リプシッツ定数を低減し,ロバスト性を高める新しいアルゴリズムを提案する。 本手法は,ロバストベンチリーダーボード上のCIFAR10,CIFAR100,ImageNetデータセットに対して,最も堅牢な精度を実現する。
  論文  参考訳（メタデータ） (2024-06-28T03:10:36Z)
• From Algorithm to Hardware: A Survey on Efficient and Safe Deployment of Deep Neural Networks [23.928893359202753]
  ディープニューラルネットワーク(DNN)は多くの人工知能(AI)タスクで広く使われている。 それらのデプロイは、メモリ、エネルギ、計算の膨大なコストのために、大きな課題をもたらします。 近年,性能を保ちながらモデル効率を達成するための圧縮法の研究が急増している。
  論文  参考訳（メタデータ） (2024-05-09T18:17:25Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• enpheeph: A Fault Injection Framework for Spiking and Compressed Deep Neural Networks [10.757663798809144]
  スパイク・圧縮型ディープニューラルネットワーク(DNN)の故障注入フレームワークであるenpheephについて述べる。 ランダムかつ増加する故障数を注入することにより,DNNはパラメータあたり7 x 10 (-7) の故障率で精度を低下させることができ,精度は40%以上低下することを示した。
  論文  参考訳（メタデータ） (2022-07-31T00:30:59Z)
• Fault-Aware Design and Training to Enhance DNNs Reliability with Zero-Overhead [67.87678914831477]
  ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。 最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。 本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
  論文  参考訳（メタデータ） (2022-05-28T13:09:30Z)
• On Efficient Uncertainty Estimation for Resource-Constrained Mobile Applications [0.0]
  予測の不確実性は、モデル予測を補完し、下流タスクの機能を改善します。 Axolotlフレームワークを用いてモンテカルロ・ドロップアウト(MCDO)モデルを構築することでこの問題に対処する。 我々は,(1)CIFAR10データセットを用いた多クラス分類タスク,(2)より複雑な人体セグメンテーションタスクについて実験を行った。
  論文  参考訳（メタデータ） (2021-11-11T22:24:15Z)
• Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
  Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。 しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。 クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T08:02:27Z)
• Designing Interpretable Approximations to Deep Reinforcement Learning [14.007731268271902]
  ディープニューラルネットワーク(DNN)は、アルゴリズムのパフォーマンスのバーを設定する。 実際にそのようなハイパフォーマンスなDNNを使うことは不可能かもしれない。 この研究は、所望のパフォーマンスレベルを保持するだけでなく、例えば、DNNで表される潜伏した知識を簡潔に説明できるような縮小モデルを特定することを目指している。
  論文  参考訳（メタデータ） (2020-10-28T06:33:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。