論文の概要: Efficient Encrypted Inference on Ensembles of Decision Trees
- arxiv url: http://arxiv.org/abs/2103.03411v1
- Date: Fri, 5 Mar 2021 01:06:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-08 14:58:30.689324
- Title: Efficient Encrypted Inference on Ensembles of Decision Trees
- Title（参考訳）: 決定木集合の効率的な暗号化推論
- Authors: Kanthi Sarpatwar and Karthik Nandakumar and Nalini Ratha and James
Rayfield and Karthikeyan Shanmugam and Sharath Pankanti and Roman Vaculin
- Abstract要約: データプライバシーに関する懸念は、しばしば機密個人データのクラウドベースの機械学習サービスの使用を妨げます。
複雑な決定木アンサンブルから抽出した知識を浅層ニューラルネットワークに伝達する枠組みを提案する。
当社のシステムは高度にスケーラブルで,バッチ暗号化された(134ビットのセキュリティ)データに対して,ミリ秒のアモートタイムで効率的な推論を行うことができる。
- 参考スコア（独自算出の注目度）: 21.570003967858355
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data privacy concerns often prevent the use of cloud-based machine learning
services for sensitive personal data. While homomorphic encryption (HE) offers
a potential solution by enabling computations on encrypted data, the challenge
is to obtain accurate machine learning models that work within the
multiplicative depth constraints of a leveled HE scheme. Existing approaches
for encrypted inference either make ad-hoc simplifications to a pre-trained
model (e.g., replace hard comparisons in a decision tree with soft comparators)
at the cost of accuracy or directly train a new depth-constrained model using
the original training set. In this work, we propose a framework to transfer
knowledge extracted by complex decision tree ensembles to shallow neural
networks (referred to as DTNets) that are highly conducive to encrypted
inference. Our approach minimizes the accuracy loss by searching for the best
DTNet architecture that operates within the given depth constraints and
training this DTNet using only synthetic data sampled from the training data
distribution. Extensive experiments on real-world datasets demonstrate that
these characteristics are critical in ensuring that DTNet accuracy approaches
that of the original tree ensemble. Our system is highly scalable and can
perform efficient inference on batched encrypted (134 bits of security) data
with amortized time in milliseconds. This is approximately three orders of
magnitude faster than the standard approach of applying soft comparison at the
internal nodes of the ensemble trees.
- Abstract（参考訳）: データプライバシーに関する懸念は、しばしば機密個人データのクラウドベースの機械学習サービスの使用を妨げます。
ホモモルフィック暗号化(HE)は、暗号化されたデータの計算を可能にすることで潜在的な解決策を提供するが、その課題は、レベル付きHEスキームの乗算深度制約の中で機能する正確な機械学習モデルを得ることである。
既存の暗号化推論のアプローチでは、事前訓練されたモデル(例えば、決定ツリーのハード比較をソフトコンパレータに置き換える)を精度の犠牲でアドホックに単純化するか、あるいはオリジナルのトレーニングセットを使って新しい深度制約モデルを直接訓練する。
本研究では, 複雑な決定木アンサンブルから抽出した知識を, 暗号化推論に強く寄与する浅層ニューラルネットワーク(DTNet)に伝達する枠組みを提案する。
提案手法は,与えられた深度制約内で動作する最高のDTNetアーキテクチャを探索し,トレーニングデータ分布からサンプリングした合成データのみを用いてDTNetをトレーニングすることにより,精度の低下を最小限に抑える。
実世界のデータセットに対する大規模な実験は、これらの特性がDTNetの精度が元のツリーアンサンブルに近づくことを確実にするために重要であることを示した。
当社のシステムは高度にスケーラブルで,バッチ暗号化された(134ビットのセキュリティ)データに対して,ミリ秒のアモートタイムで効率的な推論を行うことができる。
これは、アンサンブルツリーの内部ノードでソフト比較を適用する標準的なアプローチよりも約3桁高速である。
関連論文リスト
- A Fresh Take on Stale Embeddings: Improving Dense Retriever Training with Corrector Networks [81.2624272756733]
密集検索では、ディープエンコーダは入力とターゲットの両方に埋め込みを提供する。
我々は、古いキャッシュされたターゲット埋め込みを調整できる小さなパラメトリック補正ネットワークを訓練する。
私たちのアプローチは、トレーニング中にターゲット埋め込み更新が行われなくても、最先端の結果と一致します。
論文 参考訳（メタデータ） (2024-09-03T13:29:13Z) - Verifiable Learning for Robust Tree Ensembles [8.207928136395184]
大規模分散アンサンブルと呼ばれる決定ツリーアンサンブルのクラスは、制限された時間で実行されるセキュリティ検証アルゴリズムを認めている。
我々は、ラベル付きデータから大規模決定木を自動学習する新しいトレーニングアルゴリズムを設計することで、このアイデアの利点を示す。
公開データセットの実験結果から,我々のアルゴリズムを用いてトレーニングした大域的なアンサンブルを数秒で検証できることを確認した。
論文 参考訳（メタデータ） (2023-05-05T15:37:23Z) - NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。
所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。
ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文 参考訳（メタデータ） (2022-09-29T04:06:00Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - Fast Deep Autoencoder for Federated learning [0.0]
DAEF(Deep Autoencoder for Federated Learning)は、ディープオートエンコーダの新規かつ高速かつプライバシ保護実装である。
従来のニューラルネットワークとは異なり、DAEFはディープオートエンコーダネットワークを非定型的にトレーニングし、トレーニング時間を劇的に短縮する。
この手法は、7つの実際の異常検出データセットを用いて従来の(定型的な)ディープオートエンコーダと比較して評価・比較されている。
論文 参考訳（メタデータ） (2022-06-10T14:17:06Z) - Robust Training under Label Noise by Over-parameterization [41.03008228953627]
本稿では,トレーニングラベルの比率が低下した分類タスクにおいて,過パラメータ化深層ネットワークの堅牢なトレーニングを行うための原則的手法を提案する。
ラベルノイズはクリーンデータから学んだネットワークと疎結合なので、ノイズをモデル化してデータから分離することを学びます。
注目すべきは、このような単純な手法を用いて訓練を行う場合、様々な実データに対してラベルノイズに対する最先端のテスト精度を示すことである。
論文 参考訳（メタデータ） (2022-02-28T18:50:10Z) - On Deep Learning with Label Differential Privacy [54.45348348861426]
ラベルは機密性があり、保護されるべきであるとするマルチクラス分類について検討する。
本稿では,ラベル差分プライバシを用いたディープニューラルネットワークのトレーニングアルゴリズムを提案し,いくつかのデータセットで評価を行う。
論文 参考訳（メタデータ） (2021-02-11T15:09:06Z) - Cryptotree: fast and accurate predictions on encrypted structured data [0.0]
ホモモルフィック暗号化(HE)は、入力と出力の両方が暗号化される暗号化データ上での計算を可能にする能力で認められている。
線形回帰と比較して非常に強力な学習手法であるランダムフォレスト(RF)の利用を可能にするフレームワークであるCryptotreeを提案する。
論文 参考訳（メタデータ） (2020-06-15T11:48:01Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z) - User-Level Privacy-Preserving Federated Learning: Analysis and
Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。
情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。
サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-02-29T10:13:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。