論文の概要: Silenzio: Secure Non-Interactive Outsourced MLP Training

• arxiv url: http://arxiv.org/abs/2504.17785v2
• Date: Thu, 18 Sep 2025 13:56:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 15:20:14.4242
• Title: Silenzio: Secure Non-Interactive Outsourced MLP Training
• Title（参考訳）: Silenzio: セキュアな非インタラクティブアウトソースMLPトレーニング
• Authors: Jonas Sander, Thomas Eisenbarth,
• Abstract要約: 私たちはSilenuioを紹介します。Silenuioは、固有のMLスキルのトレーニングのための、最初の完全にインタラクティブなアウトソーシングスキームです。 Silenzio は FHE 固有の計算オーバーヘッドのために、完全に低ビット幅の整数上で動作する。
• 参考スコア（独自算出の注目度）: 5.3909333359654275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Outsourcing ML training to cloud-service-providers presents a compelling opportunity for resource constrained clients, while it simultaneously bears inherent privacy risks. We introduce Silenuio, the first fully non-interactive outsourcing scheme for the training of MLPs that achieves 128bit security using FHE (precisely TFHE). Unlike traditional MPC-based protocols that necessitate interactive communication between the client and server(s) or non-collusion assumptions among multiple servers, Silenzio enables the "fire-and-forget" paradigm without such assumptions. In this approach, the client encrypts the training data once, and the server performs the training without any further interaction. Silenzio operates entirely over low-bitwidth integer to mitigate the computational overhead inherent to FHE. Our approach features a novel low-bitwidth matrix multiplication gadget that leverages input-dependent residue number systems, ensuring that no intermediate value overflows 8bit. Starting from an RNS-to-MRNS conversion process, we propose an efficient block-scaling mechanism, which approximately shifts encrypted tensor values to their user-specified most significant bits. To instantiate the backpropagation of the error, Silenzio introduces a low-bitwidth gradient computation for the cross-entropy loss. We evaluate Silenzio on standard MLP training tasks regarding runtime as well as model performance and achieve similar classification accuracy as MLPs trained using PyTorch with 32bit floating-point computations. Our open-source implementation of Silenzio represents a significant advancement in privacy-preserving ML, providing a new baseline for secure and non-interactive outsourced MLP training.
• Abstract（参考訳）: 機械学習トレーニングをクラウドサービスプロデューサにアウトソーシングすることは、リソース制約のあるクライアントにとって魅力的な機会であり、同時に固有のプライバシリスクを負う。 我々は、FHE(正確にはTFHE)を用いて128ビットのセキュリティを実現するMLPのトレーニングのための、最初の完全に非インタラクティブなアウトソーシングスキームであるSilenuioを紹介する。 クライアントとサーバ間の対話的な通信を必要とする従来のMPCベースのプロトコルや、複数のサーバ間での非協調的な仮定とは異なり、Silenzioはそのような仮定なしで"ファイア・アンド・フォーゲット"パラダイムを実現する。 このアプローチでは、クライアントはトレーニングデータを一度暗号化し、サーバはそれ以上のインタラクションなしにトレーニングを実行する。 Silenzioは、FHE固有の計算オーバーヘッドを軽減するために、完全に低ビット幅の整数上で動作する。 提案手法は,入力依存残基数システムを利用した新しい低ビット幅行列乗算器を特徴とし,中間値のオーバーフローが8ビットにならないことを保証する。 RNS-to-MRNS変換プロセスから、暗号化されたテンソル値をユーザ指定の最も重要なビットに概ねシフトする効率的なブロックスケーリング機構を提案する。 誤差のバックプロパゲーションをインスタンス化するために、Silenzio氏はクロスエントロピー損失に対する低ビット幅勾配計算を導入した。 我々は,PyTorchと32ビット浮動小数点演算を用いて訓練したMPPと同様の分類精度を実現するとともに,実行時およびモデル性能に関する標準MPPトレーニングタスクについてシレンツィオの評価を行った。 当社のSilenzioのオープンソース実装は、プライバシ保護MLの大幅な進歩を示し、セキュアで非インタラクティブなMLPトレーニングのための新たなベースラインを提供します。

関連論文リスト

• Pigeon-SL: Robust Split Learning Framework for Edge Intelligence under Malicious Clients [53.496957000114875]
  我々は,M クライアントのうち少なくとも 1 つの完全正直なクラスタを保証する新しいスキームである Pigeon-SL を紹介する。 各グローバルラウンドでは、アクセスポイントがクライアントをN+1クラスタに分割し、バニラSLを介して独立して各クラスタをトレーニングし、共有データセット上での検証損失を評価する。 損失が最も低いクラスタのみが進歩し、悪意のある更新を分離して破棄する。
  論文  参考訳（メタデータ） (2025-08-04T09:34:50Z)
• Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
  ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。 我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:56:11Z)
• ESLM: Risk-Averse Selective Language Modeling for Efficient Pretraining [53.893792844055106]
  大規模言語モデルの事前学習は計算集約的であるが、多くのトークンが学習にわずかに寄与し、非効率になる。 Selective Efficient Language Modelingは、オンライントークンレベルのバッチ選択を行うことで、トレーニング効率と分散ロバスト性を改善するリスク認識アルゴリズムである。 GPT-2プレトレーニング実験の結果、ESLMはベースラインに比べて複雑度と下流性能の両面を維持・改善しながら、トレーニングFLOPを著しく低減することが示された。
  論文  参考訳（メタデータ） (2025-05-26T12:23:26Z)
• Fundamental Limits of Hierarchical Secure Aggregation with Cyclic User Association [93.46811590752814]
  階層的なセキュアな集約は、連合学習によって動機づけられる。 本稿では,各ユーザが連続する$B$のリレーに接続される循環型アソシエーションパターンを用いたHSAについて考察する。 本稿では、勾配符号化にインスパイアされた入力に対するメッセージ設計を含む効率的なアグリゲーション手法を提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:53:37Z)
• ACCESS-FL: Agile Communication and Computation for Efficient Secure Aggregation in Stable Federated Learning Networks [26.002975401820887]
  Federated Learning(FL)は、プライバシ対応アプリケーション用に設計された分散学習フレームワークである。 従来のFLは、プレーンモデルのアップデートがサーバに送信されると、機密性の高いクライアントデータを露出するリスクにアプローチする。 GoogleのSecure Aggregation(SecAgg)プロトコルは、二重マスキング技術を使用することで、この脅威に対処する。 通信・計算効率の高いセキュアアグリゲーション手法であるACCESS-FLを提案する。
  論文  参考訳（メタデータ） (2024-09-03T09:03:38Z)
• CURE: Privacy-Preserving Split Learning Done Right [1.388112207221632]
  このシナリオには、同型暗号化(HE)ベースのソリューションが存在するが、しばしば禁止的な計算負担を課す。 CUREは、モデルとデータのサーバ側のみを暗号化する新しいシステムである。 CUREは、実行時の16倍の効率で、平文SLと同等の精度を実現できることを示す。
  論文  参考訳（メタデータ） (2024-07-12T04:10:19Z)
• Safely Learning with Private Data: A Federated Learning Framework for Large Language Model [3.1077263218029105]
  フェデレートラーニング(FL)は、分散プライベートデータを用いたモデルのトレーニングに理想的なソリューションである。 FedAvgのような従来のフレームワークは、大きな言語モデル(LLM)には適さない 本稿では,サーバサイド攻撃とピアクライアント攻撃の両方によるデータ漏洩を防止するFL-GLMを提案する。
  論文  参考訳（メタデータ） (2024-06-21T06:43:15Z)
• Hawk: Accurate and Fast Privacy-Preserving Machine Learning Using Secure Lookup Table Computation [11.265356632908846]
  直接的なデータ共有のない複数のエンティティからのデータに対する機械学習モデルのトレーニングは、ビジネス、法的、倫理的制約によって妨げられるようなアプリケーションをアンロックすることができる。 我々はロジスティック回帰モデルとニューラルネットワークモデルのための新しいプライバシ保護機械学習プロトコルの設計と実装を行う。 評価の結果,ロジスティック回帰プロトコルは最大9倍高速であり,ニューラルネットワークトレーニングはSecureMLの最大688倍高速であることがわかった。
  論文  参考訳（メタデータ） (2024-03-26T00:51:12Z)
• Federated Nearest Neighbor Machine Translation [66.8765098651988]
  本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。 FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。 実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
  論文  参考訳（メタデータ） (2023-02-23T18:04:07Z)
• Latent Iterative Refinement for Modular Source Separation [44.78689915209527]
  従来のソース分離アプローチは、すべてのデータを一度に利用できるように、ディープニューラルネットワークモデルをエンドツーエンドにトレーニングする。 我々は、トレーニングと推論の段階において、リソース効率を著しく向上させることができると論じる。
  論文  参考訳（メタデータ） (2022-11-22T00:02:57Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• FLVoogd: Robust And Privacy Preserving Federated Learning [12.568409209047505]
  プライバシを保護しながら,サーバとクライアントが共同でビザンチン攻撃を除去する,新たなフェデレート学習手法であるoogdを提案する。 サーバは、S2PCと組み合わされたDBSCAN(Spatial Clustering of Applications)の自動密度ベースの空間クラスタリングを使用して、機密性の高い個人情報を取得せずに、良質な多数派をクラスタリングする。 私たちのフレームワークは自動で適応的なので、サーバ/クライアントはトレーニング中にパラメータをチューニングする必要がありません。
  論文  参考訳（メタデータ） (2022-06-24T08:48:15Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
  ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。 提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。 遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
  論文  参考訳（メタデータ） (2021-01-18T07:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。