論文の概要: SOTERIA: In Search of Efficient Neural Networks for Private Inference
- arxiv url: http://arxiv.org/abs/2007.12934v1
- Date: Sat, 25 Jul 2020 13:53:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 00:51:08.782985
- Title: SOTERIA: In Search of Efficient Neural Networks for Private Inference
- Title（参考訳）: SOTERIA: プライベート推論のための効率的なニューラルネットワークの探索
- Authors: Anshul Aggarwal, Trevor E. Carlson, Reza Shokri, Shruti Tople
- Abstract要約: マシンラーニング・アズ・ア・サービス(ML-as-a-service)は、クラウドサーバがトレーニングされたモデルをホストし、ユーザに対して予測(推論)サービスを提供することで人気が高まっている。
この設定では、ユーザの入力クエリと、サーバのモデルパラメータの両方の機密性を保護することが目的である。
本稿では,個人推論に効率的に設計できるモデルアーキテクチャを構築するための訓練手法であるSOTERIAを提案する。
- 参考スコア（独自算出の注目度）: 15.731520890265545
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: ML-as-a-service is gaining popularity where a cloud server hosts a trained
model and offers prediction (inference) service to users. In this setting, our
objective is to protect the confidentiality of both the users' input queries as
well as the model parameters at the server, with modest computation and
communication overhead. Prior solutions primarily propose fine-tuning
cryptographic methods to make them efficient for known fixed model
architectures. The drawback with this line of approach is that the model itself
is never designed to operate with existing efficient cryptographic
computations. We observe that the network architecture, internal functions, and
parameters of a model, which are all chosen during training, significantly
influence the computation and communication overhead of a cryptographic method,
during inference. Based on this observation, we propose SOTERIA -- a training
method to construct model architectures that are by-design efficient for
private inference. We use neural architecture search algorithms with the dual
objective of optimizing the accuracy of the model and the overhead of using
cryptographic primitives for secure inference. Given the flexibility of
modifying a model during training, we find accurate models that are also
efficient for private computation. We select garbled circuits as our underlying
cryptographic primitive, due to their expressiveness and efficiency, but this
approach can be extended to hybrid multi-party computation settings. We
empirically evaluate SOTERIA on MNIST and CIFAR10 datasets, to compare with the
prior work. Our results confirm that SOTERIA is indeed effective in balancing
performance and accuracy.
- Abstract（参考訳）: クラウドサーバがトレーニングされたモデルをホストし、ユーザに予測(参照)サービスを提供する、ml-as-a-serviceが人気を集めている。
この設定では、ユーザの入力クエリと、サーバのモデルパラメータの両方の機密性を、控えめな計算と通信オーバーヘッドで保護することを目的としています。
従来のソリューションは主に、既知の固定モデルアーキテクチャに対して効率良くするための微調整の暗号手法を提案する。
このアプローチの欠点は、モデル自体が既存の効率的な暗号計算で動くように設計されていないことである。
学習中に選択されるモデルのネットワークアーキテクチャ、内部関数、パラメータが、推論中における暗号手法の計算と通信のオーバーヘッドに大きく影響することを観察する。
そこで本研究では,個人推論に効率的なモデルアーキテクチャを構築するための訓練手法であるSOTERIAを提案する。
我々は、モデルの精度と暗号プリミティブを用いた安全な推論のオーバーヘッドを最適化する2つの目的を持つニューラルネットワーク探索アルゴリズムを用いる。
トレーニング中にモデルを変更する柔軟性を考えると、プライベートな計算にも効率的である正確なモデルを見つけることができる。
我々は、表現性や効率性から、ガーブロード回路を基礎となる暗号プリミティブとして選択するが、このアプローチはハイブリッドなマルチパーティ計算設定にまで拡張できる。
我々は,MNISTおよびCIFAR10データセット上でSoTERIAを実験的に評価し,先行研究と比較した。
以上の結果から,ソテリアは性能と精度のバランスに有効であることが確認された。
関連論文リスト
- TRAK: Attributing Model Behavior at Scale [79.56020040993947]
本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
論文 参考訳（メタデータ） (2023-03-24T17:56:22Z) - Evaluating Representations with Readout Model Switching [19.907607374144167]
本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。
我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。
提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
論文 参考訳（メタデータ） (2023-02-19T14:08:01Z) - Analyzing the Performance of Deep Encoder-Decoder Networks as Surrogates
for a Diffusion Equation [0.0]
本研究では,エンコーダ・デコーダ畳み込みニューラルネットワーク(CNN)を定常拡散解法の代用として利用することを検討した。
その結果,トレーニングセットのサイズが大きくなると,性能変動や全体的な誤差の低減に大きく影響することが示唆された。
論文 参考訳（メタデータ） (2023-02-07T22:53:19Z) - Towards a learning-based performance modeling for accelerating Deep
Neural Networks [1.1549572298362785]
我々は、畳み込みニューラルネットワーク(CNN)を最適化するために、機械学習技術に基づく予測モデルの調査を開始する。
MidgardベースのARM Mali GPUの予備実験では、我々の予測モデルはライブラリが手作業で選択したすべての畳み込み演算子よりも優れていた。
論文 参考訳（メタデータ） (2022-12-09T18:28:07Z) - Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。
我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。
得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
論文 参考訳（メタデータ） (2022-11-16T21:55:05Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - Automated Algorithm Selection: from Feature-Based to Feature-Free
Approaches [0.5801044612920815]
本稿では,データ中に暗黙的なシーケンシャル情報がカプセル化されている最適化に適用可能な,アルゴリズム選択のための新しい手法を提案する。
我々は、よく知られた4つのドメインから選択して、オンラインビンパッキングのパッキングを予測するために、2種類のリカレントニューラルネットワークをトレーニングする。
論文 参考訳（メタデータ） (2022-03-24T23:59:50Z) - Conservative Objective Models for Effective Offline Model-Based
Optimization [78.19085445065845]
計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。
本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。
COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
論文 参考訳（メタデータ） (2021-07-14T17:55:28Z) - GECKO: Reconciling Privacy, Accuracy and Efficiency in Embedded Deep
Learning [5.092028049119383]
NNにおけるIoTデバイスの3次元プライバシ-精度-効率トレードオフを分析します。
設計目的として,私的推論に対する抵抗を明示的に付加するGeckoトレーニング手法を提案する。
論文 参考訳（メタデータ） (2020-10-02T10:36:55Z) - Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。
PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
論文 参考訳（メタデータ） (2020-07-07T03:36:28Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳（メタデータ） (2020-05-22T23:07:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。