論文の概要: Efficient ML Models for Practical Secure Inference

• arxiv url: http://arxiv.org/abs/2209.00411v1
• Date: Fri, 26 Aug 2022 09:42:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-04 02:03:20.306108
• Title: Efficient ML Models for Practical Secure Inference
• Title（参考訳）: 実用的なセキュア推論のための効率的なMLモデル
• Authors: Vinod Ganesan, Anwesh Bhattacharya, Pratyush Kumar, Divya Gupta, Rahul Sharma, Nishanth Chandran
• Abstract要約: 暗号化プリミティブは、モデルのプロバイダやモデルの重み付けにユーザの入力を明らかにすることなく、推論を可能にする。 セキュア推論はこの設定では原則として実現可能ですが、大規模に実践できるような既存のテクニックはありません。 安全な推論における主要なボトルネックは、ネットワークバックボーンの選択によって最適化できる大きな線形層であることを示す。
• 参考スコア（独自算出の注目度）: 9.536081713410812
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: ML-as-a-service continues to grow, and so does the need for very strong privacy guarantees. Secure inference has emerged as a potential solution, wherein cryptographic primitives allow inference without revealing users' inputs to a model provider or model's weights to a user. For instance, the model provider could be a diagnostics company that has trained a state-of-the-art DenseNet-121 model for interpreting a chest X-ray and the user could be a patient at a hospital. While secure inference is in principle feasible for this setting, there are no existing techniques that make it practical at scale. The CrypTFlow2 framework provides a potential solution with its ability to automatically and correctly translate clear-text inference to secure inference for arbitrary models. However, the resultant secure inference from CrypTFlow2 is impractically expensive: Almost 3TB of communication is required to interpret a single X-ray on DenseNet-121. In this paper, we address this outstanding challenge of inefficiency of secure inference with three contributions. First, we show that the primary bottlenecks in secure inference are large linear layers which can be optimized with the choice of network backbone and the use of operators developed for efficient clear-text inference. This finding and emphasis deviates from many recent works which focus on optimizing non-linear activation layers when performing secure inference of smaller networks. Second, based on analysis of a bottle-necked convolution layer, we design a X-operator which is a more efficient drop-in replacement. Third, we show that the fast Winograd convolution algorithm further improves efficiency of secure inference. In combination, these three optimizations prove to be highly effective for the problem of X-ray interpretation trained on the CheXpert dataset.
• Abstract（参考訳）: ML-as-a-serviceは成長を続けており、非常に強力なプライバシ保証の必要性もある。 セキュアな推論は潜在的な解決策として現れており、暗号化プリミティブによって、モデルのプロバイダやモデルの重み付けにユーザの入力を明らかにすることなく、推論が可能である。 例えば、モデル提供者は、胸部X線を解釈するための最先端のDenseNet-121モデルを訓練した診断会社であり、ユーザーは病院の患者かもしれない。 セキュアな推論は原則としてこの設定で実現可能であるが、大規模に実践的な手法は存在しない。 CrypTFlow2フレームワークは、任意のモデルのセキュアな推論にクリアテキスト推論を自動的に正しく翻訳する機能を備えた潜在的なソリューションを提供する。 しかし、CrypTFlow2から得られたセキュアな推論は非常に高価である: DenseNet-121上で1つのX線を解釈するためには、ほぼ3TBの通信が必要である。 本稿では,3つの貢献を伴うセキュアな推論の非効率性に関する課題について述べる。 まず,セキュアな推論における主なボトルネックは,ネットワークバックボーンの選択と効率的なクリアテキスト推論のために開発された演算子の使用によって最適化可能な,大規模線形層であることを示す。 この発見と強調は、より小さなネットワークの安全な推論を行う際に非線形アクティベーション層を最適化することに焦点を当てた最近の多くの研究から逸脱している。 第2に,ボトルネック畳み込み層の解析に基づいて,より効率的なドロップイン置換であるxオペレータを設計した。 第三に、高速なWinograd畳み込みアルゴリズムは安全な推論の効率をさらに向上させることを示す。 これら3つの最適化は、CheXpertデータセットでトレーニングされたX線解釈の問題に対して非常に効果的であることが証明された。

関連論文リスト

• OTAD: An Optimal Transport-Induced Robust Model for Agnostic Adversarial Attack [7.824226954174748]
  ディープニューラルネットワーク(DNN)は入力の小さな逆方向の摂動に対して脆弱である。 本稿では,2段階の最適輸送誘導敵防衛モデルを提案する。 OTADは、ローカルリプシッツ連続性を保ちながら、トレーニングデータを正確に適合させることができる。
  論文  参考訳（メタデータ） (2024-08-01T07:04:18Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• VeriFlow: Modeling Distributions for Neural Network Verification [4.3012765978447565]
  フォーマル検証は、ニューラルネットワークの安全性と信頼性を保証するための有望な方法として登場した。 本稿では,流れに基づく密度モデルとしてVeriFlowアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-06-20T12:41:39Z)
• SVNet: Where SO(3) Equivariance Meets Binarization on Point Cloud Representation [65.4396959244269]
  本論文は,3次元学習アーキテクチャを構築するための一般的なフレームワークを設計することによる課題に対処する。 提案手法はPointNetやDGCNNといった一般的なバックボーンに適用できる。 ModelNet40、ShapeNet、および実世界のデータセットであるScanObjectNNの実験では、この手法が効率、回転、精度の間の大きなトレードオフを達成することを示した。
  論文  参考訳（メタデータ） (2022-09-13T12:12:19Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness [172.61581010141978]
  証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。 線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
  論文  参考訳（メタデータ） (2022-06-15T22:42:29Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)
• Scalable Uncertainty Quantification for Deep Operator Networks using Randomized Priors [14.169588600819546]
  ディープ・オペレーター・ネットワーク(DeepONets)における後続不確実性定量化のための単純かつ効果的なアプローチを提案する。 我々は,ランダム化前のアンサンブルに基づく頻繁なアプローチを採用し,高速化ハードウェア上での高速並列推論のための効率的なベクトル化実装を提案する。
  論文  参考訳（メタデータ） (2022-03-06T20:48:16Z)
• SOTERIA: In Search of Efficient Neural Networks for Private Inference [15.731520890265545]
  マシンラーニング・アズ・ア・サービス(ML-as-a-service)は、クラウドサーバがトレーニングされたモデルをホストし、ユーザに対して予測(推論)サービスを提供することで人気が高まっている。 この設定では、ユーザの入力クエリと、サーバのモデルパラメータの両方の機密性を保護することが目的である。 本稿では,個人推論に効率的に設計できるモデルアーキテクチャを構築するための訓練手法であるSOTERIAを提案する。
  論文  参考訳（メタデータ） (2020-07-25T13:53:02Z)
• Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference [119.19779637025444]
  深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。 本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
  論文  参考訳（メタデータ） (2020-02-24T00:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。