論文の概要: Silenzio: Secure Non-Interactive Outsourced MLP Training

• arxiv url: http://arxiv.org/abs/2504.17785v1
• Date: Thu, 24 Apr 2025 17:59:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.491254
• Title: Silenzio: Secure Non-Interactive Outsourced MLP Training
• Title（参考訳）: Silenzio: セキュアな非インタラクティブアウトソースMLPトレーニング
• Authors: Jonas Sander, Thomas Eisenbarth,
• Abstract要約: 我々は、FHEを用いた128ビットのセキュリティを持つマルチ層パーセプトロンのトレーニングのための、初めて完全に非インタラクティブなアウトソーシングスキームであるSilenzioを紹介する。 このアプローチでは、クライアントはトレーニングデータを一度暗号化し、クラウドサーバはそれ以上のインタラクションなしにトレーニングを実行する。
• 参考スコア（独自算出の注目度）: 6.299435779277401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Outsourcing the ML training to cloud providers presents a compelling opportunity for resource constrained clients, while it simultaneously bears inherent privacy risks, especially for highly sensitive training data. We introduce Silenzio, the first fully non-interactive outsourcing scheme for the training of multi-layer perceptrons that achieves 128 bit security using FHE. Unlike traditional MPC based protocols that necessitate interactive communication between the client and server(s) or non-collusion assumptions among multiple servers, Silenzio enables the fire-and-forget paradigm without such assumptions. In this approach, the client encrypts the training data once, and the cloud server performs the training without any further interaction. Silenzio operates over low bitwidth integers - never exceeding 8 bit - to mitigate the computational overhead of FHE. Our approach features a novel low-bitwidth matrix multiplication that leverages input-dependent residue number systems and a Karatsuba-inspired multiplication routine, ensuring that no intermediate FHE-processed value overflows 8 bit. Starting from an RNS-to-MRNS conversion process, we propose an efficient block-scaling mechanism, which approximately shifts encrypted tensor values to the user-specified most significant bits. To instantiate the backpropagation of the error, Silenzio introduces a low-bitwidth and TFHE friendly gradient computation for the cross entropy loss. Implemented using the state-of-the-art Concrete library, we evaluate Silenzio on standard MLP training tasks regarding runtime as well as model performance and achieve similar classification accuracy as MLPs trained using standard PyTorch with 32 bit floating-point computations. Our open-source implementation represents a significant advancement in privacy-preserving ML, providing a new baseline for secure and non-interactive outsourced MLP training.
• Abstract（参考訳）: MLトレーニングをクラウドプロバイダにアウトソーシングすることは、リソース制約のあるクライアントに対して魅力的な機会を提供すると同時に、特に高感度なトレーニングデータに対して、固有のプライバシリスクを同時に負う。 我々は、FHEを用いて128ビットのセキュリティを実現するマルチ層パーセプトロンのトレーニングのための、最初の完全に非インタラクティブなアウトソーシングスキームであるSilenzioを紹介する。 クライアントとサーバ間の対話的な通信を必要とする従来のMPCベースのプロトコルや、複数のサーバ間での非協調的な仮定とは異なり、Silenzioはそのような仮定なしでファイア・アンド・フォーゲット・パラダイムを実現する。 このアプローチでは、クライアントはトレーニングデータを一度暗号化し、クラウドサーバはそれ以上のインタラクションなしにトレーニングを実行する。 Silenzioは、FHEの計算オーバーヘッドを軽減するために、低ビット幅の整数(8ビットを超えない)上で動作する。 提案手法は,入力依存残余数システムとカラツバに着想を得た乗算ルーチンを活用する,新しい低ビット幅行列乗算を特徴とする。 RNS-to-MRNS変換プロセスから、暗号化されたテンソル値をユーザ指定の最も重要なビットに概ねシフトする効率的なブロックスケーリング機構を提案する。 誤差のバックプロパゲーションをインスタンス化するために、Silenzioはクロスエントロピー損失に対する低ビット幅およびTFHEフレンドリな勾配計算を導入した。 現状のコンクリートライブラリを用いて,Silenzioをランタイムおよびモデル性能に関する標準MPPトレーニングタスクで評価し,32ビット浮動小数点演算を用いた標準PyTorchを用いてトレーニングしたMPPと同様の分類精度を達成した。 当社のオープンソース実装は、プライバシ保護MLの大幅な進歩を表しており、セキュアで非インタラクティブなオープンソースMLPトレーニングのための新たなベースラインを提供しています。

関連論文リスト

• Fundamental Limits of Hierarchical Secure Aggregation with Cyclic User Association [93.46811590752814]
  階層的なセキュアな集約は、連合学習によって動機づけられる。 本稿では,各ユーザが連続する$B$のリレーに接続される循環型アソシエーションパターンを用いたHSAについて考察する。 本稿では、勾配符号化にインスパイアされた入力に対するメッセージ設計を含む効率的なアグリゲーション手法を提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:53:37Z)
• ACCESS-FL: Agile Communication and Computation for Efficient Secure Aggregation in Stable Federated Learning Networks [26.002975401820887]
  Federated Learning(FL)は、プライバシ対応アプリケーション用に設計された分散学習フレームワークである。 従来のFLは、プレーンモデルのアップデートがサーバに送信されると、機密性の高いクライアントデータを露出するリスクにアプローチする。 GoogleのSecure Aggregation(SecAgg)プロトコルは、二重マスキング技術を使用することで、この脅威に対処する。 通信・計算効率の高いセキュアアグリゲーション手法であるACCESS-FLを提案する。
  論文  参考訳（メタデータ） (2024-09-03T09:03:38Z)
• CURE: Privacy-Preserving Split Learning Done Right [1.388112207221632]
  このシナリオには、同型暗号化(HE)ベースのソリューションが存在するが、しばしば禁止的な計算負担を課す。 CUREは、モデルとデータのサーバ側のみを暗号化する新しいシステムである。 CUREは、実行時の16倍の効率で、平文SLと同等の精度を実現できることを示す。
  論文  参考訳（メタデータ） (2024-07-12T04:10:19Z)
• Safely Learning with Private Data: A Federated Learning Framework for Large Language Model [3.1077263218029105]
  フェデレートラーニング(FL)は、分散プライベートデータを用いたモデルのトレーニングに理想的なソリューションである。 FedAvgのような従来のフレームワークは、大きな言語モデル(LLM)には適さない 本稿では,サーバサイド攻撃とピアクライアント攻撃の両方によるデータ漏洩を防止するFL-GLMを提案する。
  論文  参考訳（メタデータ） (2024-06-21T06:43:15Z)
• Hawk: Accurate and Fast Privacy-Preserving Machine Learning Using Secure Lookup Table Computation [11.265356632908846]
  直接的なデータ共有のない複数のエンティティからのデータに対する機械学習モデルのトレーニングは、ビジネス、法的、倫理的制約によって妨げられるようなアプリケーションをアンロックすることができる。 我々はロジスティック回帰モデルとニューラルネットワークモデルのための新しいプライバシ保護機械学習プロトコルの設計と実装を行う。 評価の結果,ロジスティック回帰プロトコルは最大9倍高速であり,ニューラルネットワークトレーニングはSecureMLの最大688倍高速であることがわかった。
  論文  参考訳（メタデータ） (2024-03-26T00:51:12Z)
• Federated Nearest Neighbor Machine Translation [66.8765098651988]
  本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。 FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。 実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
  論文  参考訳（メタデータ） (2023-02-23T18:04:07Z)
• Latent Iterative Refinement for Modular Source Separation [44.78689915209527]
  従来のソース分離アプローチは、すべてのデータを一度に利用できるように、ディープニューラルネットワークモデルをエンドツーエンドにトレーニングする。 我々は、トレーニングと推論の段階において、リソース効率を著しく向上させることができると論じる。
  論文  参考訳（メタデータ） (2022-11-22T00:02:57Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• FLVoogd: Robust And Privacy Preserving Federated Learning [12.568409209047505]
  プライバシを保護しながら,サーバとクライアントが共同でビザンチン攻撃を除去する,新たなフェデレート学習手法であるoogdを提案する。 サーバは、S2PCと組み合わされたDBSCAN(Spatial Clustering of Applications)の自動密度ベースの空間クラスタリングを使用して、機密性の高い個人情報を取得せずに、良質な多数派をクラスタリングする。 私たちのフレームワークは自動で適応的なので、サーバ/クライアントはトレーニング中にパラメータをチューニングする必要がありません。
  論文  参考訳（メタデータ） (2022-06-24T08:48:15Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
  ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。 提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。 遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
  論文  参考訳（メタデータ） (2021-01-18T07:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。