論文の概要: Efficient Batch Homomorphic Encryption for Vertically Federated XGBoost
- arxiv url: http://arxiv.org/abs/2112.04261v1
- Date: Wed, 8 Dec 2021 12:41:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-09 14:32:18.711225
- Title: Efficient Batch Homomorphic Encryption for Vertically Federated XGBoost
- Title(参考訳): 垂直フェデレーションXGBoostの効率的なバッチ同型暗号化
- Authors: Wuxing Xu, Hao Fan, Kaixin Li, Kai Yang
- Abstract要約: 本稿では,広範に使用されているXGBoostモデルを,垂直連合学習環境に適用する際の効率問題について検討する。
本稿では,暗号関連および伝送のコストをほぼ半分に削減する,新しいバッチ同型暗号法を提案する。
- 参考スコア(独自算出の注目度): 9.442606239058806
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: More and more orgainizations and institutions make efforts on using external
data to improve the performance of AI services. To address the data privacy and
security concerns, federated learning has attracted increasing attention from
both academia and industry to securely construct AI models across multiple
isolated data providers. In this paper, we studied the efficiency problem of
adapting widely used XGBoost model in real-world applications to vertical
federated learning setting. State-of-the-art vertical federated XGBoost
frameworks requires large number of encryption operations and ciphertext
transmissions, which makes the model training much less efficient than training
XGBoost models locally. To bridge this gap, we proposed a novel batch
homomorphic encryption method to cut the cost of encryption-related computation
and transmission in nearly half. This is achieved by encoding the first-order
derivative and the second-order derivative into a single number for encryption,
ciphertext transmission, and homomorphic addition operations. The sum of
multiple first-order derivatives and second-order derivatives can be
simultaneously decoded from the sum of encoded values. We are motivated by the
batch idea in the work of BatchCrypt for horizontal federated learning, and
design a novel batch method to address the limitations of allowing quite few
number of negative numbers. The encode procedure of the proposed batch method
consists of four steps, including shifting, truncating, quantizing and
batching, while the decoding procedure consists of de-quantization and shifting
back. The advantages of our method are demonstrated through theoretical
analysis and extensive numerical experiments.
- Abstract(参考訳): aiサービスのパフォーマンスを改善するために、外部データを使用するように努力する企業や機関がますます増えている。
データプライバシとセキュリティの懸念に対処するため、フェデレーション学習は学界と業界の両方から、複数の分離したデータプロバイダにまたがってセキュアにaiモデルを構築するという関心を集めている。
本稿では,実世界における広く使われているxgboostモデルを垂直フェデレーション学習環境に適用する効率問題について検討した。
最先端の垂直連合型XGBoostフレームワークは、多くの暗号化操作と暗号送信を必要とするため、モデルトレーニングはXGBoostモデルをローカルにトレーニングするよりもはるかに効率的である。
このギャップを埋めるため,我々は暗号関連計算と送信のコストをほぼ半分に削減するバッチ準同型暗号法を提案した。
これは、一階微分と二階微分を暗号化、暗号テキスト送信、準同型加算演算のための単一の番号に符号化することで達成される。
複数の一階微分と二階微分の和は、符号化された値の和から同時に復号することができる。
我々は、水平連合学習のためのBatchCryptの研究におけるバッチアイデアに動機付けられ、非常に少数の負の数を許容する制限に対処する新しいバッチメソッドを設計する。
提案手法の符号化手順は, シフト, 切断, 量子化, バッチ化の4ステップからなるが, 復号処理は非量子化と逆変換の4ステップからなる。
提案手法の利点は,理論解析と広範な数値実験によって実証される。
関連論文リスト
- Contrastive Decoding Improves Reasoning in Large Language Models [55.16503283583076]
コントラストデコーディングは,様々な推論タスクにおいて,グリージーデコーディングよりもアウト・オブ・ボックスの大幅な改善を実現することを示す。
本稿では,LLaMA-65BがHellaSwag Commonsense reasoning benchmark上でLLaMA 2, GPT-3.5, PaLM 2-Lより優れていることを示す。
論文 参考訳(メタデータ) (2023-09-17T00:29:32Z) - Robust Representation Learning for Privacy-Preserving Machine Learning:
A Multi-Objective Autoencoder Approach [0.9831489366502302]
プライバシー保護機械学習(ppML)のための堅牢な表現学習フレームワークを提案する。
提案手法は,多目的方式でオートエンコーダを訓練することを中心に,符号化部からの潜伏と学習の特徴を符号化形式として結合する。
提案したフレームワークでは、元のフォームを公開せずに、データを共有し、サードパーティツールを使用することができます。
論文 参考訳(メタデータ) (2023-09-08T16:41:25Z) - Communication-Efficient Decentralized Federated Learning via One-Bit
Compressive Sensing [52.402550431781805]
分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。
集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。
我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-08-31T12:22:40Z) - Free Lunch for Efficient Textual Commonsense Integration in Language
Models [20.02647320786556]
類似したコモンセンス記述を持つサンプルを1つのバッチにグループ化し、複数のサンプル間でエンコードされた記述を再利用する。
大規模な実験では、提案したバッチ分割手法が性能を保ちながら計算コストを効果的に削減することを示した。
効率の改善は、大規模なデータセットや、メモリ容量の大きいデバイスでより顕著であり、大規模なアプリケーションに実用性があることを証明している。
論文 参考訳(メタデータ) (2023-05-24T19:14:57Z) - Towards Accurate Image Coding: Improved Autoregressive Image Generation
with Dynamic Vector Quantization [73.52943587514386]
既存のベクトル量子化(VQ)ベースの自己回帰モデルは、2段階生成パラダイムに従う。
画像領域を可変長符号に符号化する動的量子化VAE(DQ-VAE)を提案する。
論文 参考訳(メタデータ) (2023-05-19T14:56:05Z) - Graph-Collaborated Auto-Encoder Hashing for Multi-view Binary Clustering [11.082316688429641]
マルチビューバイナリクラスタリングのための自動エンコーダに基づくハッシュアルゴリズムを提案する。
具体的には,低ランク制約を用いた多視点親和性グラフ学習モデルを提案する。
また、複数の親和性グラフを協調して協調するエンコーダ・デコーダのパラダイムを設計し、統一されたバイナリコードを効果的に学習する。
論文 参考訳(メタデータ) (2023-01-06T12:43:13Z) - String-based Molecule Generation via Multi-decoder VAE [56.465033997245776]
可変オートエンコーダ(VAE)による文字列型分子生成の問題点について検討する。
本稿では,そのタスクに対するVAEの性能を改善するための,シンプルで効果的なアイデアを提案する。
実験では,提案するVAEモデルを用いて,領域外分布からサンプルを生成する。
論文 参考訳(メタデータ) (2022-08-23T03:56:30Z) - THE-X: Privacy-Preserving Transformer Inference with Homomorphic
Encryption [112.02441503951297]
トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。
我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
論文 参考訳(メタデータ) (2022-06-01T03:49:18Z) - FFConv: Fast Factorized Neural Network Inference on Encrypted Data [9.868787266501036]
本稿では、畳み込みと暗号文のパッキングを統一するFFConvと呼ばれる低ランク分解法を提案する。
先行技術であるLoLaとFalconと比較して,提案手法は,それぞれ最大87%,12%の遅延を減少させる。
論文 参考訳(メタデータ) (2021-02-06T03:10:13Z) - TEDL: A Text Encryption Method Based on Deep Learning [10.428079716944463]
本稿では,TEDLと呼ばれる深層学習に基づく新しいテキスト暗号化手法を提案する。
実験および関連する分析の結果、TEDLはセキュリティ、効率、汎用性に優れ、キー再配布頻度の低いことが示されている。
論文 参考訳(メタデータ) (2020-03-09T11:04:36Z) - Auto-Encoding Twin-Bottleneck Hashing [141.5378966676885]
本稿では,効率よく適応的なコード駆動グラフを提案する。
自動エンコーダのコンテキストでデコードすることで更新される。
ベンチマークデータセットの実験は、最先端のハッシュ手法よりもフレームワークの方が優れていることを明らかに示しています。
論文 参考訳(メタデータ) (2020-02-27T05:58:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。