論文の概要: CrypTorch: PyTorch-based Auto-tuning Compiler for Machine Learning with Multi-party Computation

• arxiv url: http://arxiv.org/abs/2511.19711v1
• Date: Mon, 24 Nov 2025 21:21:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.165911
• Title: CrypTorch: PyTorch-based Auto-tuning Compiler for Machine Learning with Multi-party Computation
• Title（参考訳）: CrypTorch: マルチパーティ計算による機械学習のためのPyTorchベースの自動チューニングコンパイラ
• Authors: Jinyu Liu, Gang Tan, Kiwan Maeng,
• Abstract要約: 我々は,MPCベースの機械学習(ML)のためのコンパイラCrypTorchを提案する。 CrypTorchは、MPCランタイムの他の部分と近似を分離し、自動的に近似を選択して、パフォーマンスと精度の両方を最大化する。 PyTorch 2 コンパイラの拡張として構築された CrypTorch の自動チューニングだけで 1.20--1.7$times$ immediately speedup が提供される。 優れたエンジニアリングと最先端のプラクティスの採用を組み合わせることで、フレームワーク全体が3.22--8.6$times$エンドツーエンドのスピードアップを実現している。
• 参考スコア（独自算出の注目度）: 14.077835923265942
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Machine learning (ML) involves private data and proprietary model parameters. MPC-based ML allows multiple parties to collaboratively run an ML workload without sharing their private data or model parameters using multi-party computing (MPC). Because MPC cannot natively run ML operations such as Softmax or GELU, existing frameworks use different approximations. Our study shows that, on a well-optimized framework, these approximations often become the dominating bottleneck. Popular approximations are often insufficiently accurate or unnecessarily slow, and these issues are hard to identify and fix in existing frameworks. To tackle this issue, we propose a compiler for MPC-based ML, CrypTorch. CrypTorch disentangles these approximations with the rest of the MPC runtime, allows easily adding new approximations through its programming interface, and automatically selects approximations to maximize both performance and accuracy. Built as an extension to PyTorch 2's compiler, we show that CrypTorch's auto-tuning alone provides 1.20--1.7$\times$ immediate speedup without sacrificing accuracy, and 1.31--1.8$\times$ speedup when some accuracy degradation is allowed, compared to our well-optimized baseline. Combined with better engineering and adoption of state-of-the-art practices, the entire framework brings 3.22--8.6$\times$ end-to-end speedup compared to the popular framework, CrypTen.
• Abstract（参考訳）: 機械学習(ML)には、プライベートデータとプロプライエタリなモデルパラメータが含まれる。 MPCベースのMLは、マルチパーティコンピューティング(MPC)を使用して、プライベートデータやモデルパラメータを共有することなく、複数のパーティが共同でMLワークロードを実行することを可能にする。 MPCはSoftmaxやGELUのようなML操作をネイティブに実行できないため、既存のフレームワークは異なる近似を使用する。 我々の研究は、最適化されたフレームワークでは、これらの近似がしばしば支配的なボトルネックとなることを示している。 一般的な近似は、しばしば不十分に正確か不必要に遅く、既存のフレームワークでこれらの問題を識別し修正することは困難である。 この問題に対処するため,MPCベースのMLであるCrypTorchのコンパイラを提案する。 CrypTorch はこれらの近似を MPC ランタイムの他の部分と切り離し、プログラミングインターフェースを通じて新しい近似を容易に追加でき、性能と精度の両方を最大化するために自動的に近似を選択する。 PyTorch 2 コンパイラの拡張として構築され、CrypTorch の自動チューニングだけで、精度を犠牲にすることなく 1.20--1.7$\times$ 即時スピードアップと、1.31-1.8$\times$ スピードアップを提供する。 エンジニアリングの改善と最先端のプラクティスの採用と合わせて、フレームワーク全体が3.22--8.6$\times$ end-to-endのスピードアップを実現している。

関連論文リスト

• MobiZO: Enabling Efficient LLM Fine-Tuning at the Edge via Inference Engines [28.18421624702502]
  本稿では,大規模言語モデル(LLM)のための資源効率の高い微調整フレームワークであるMobiZOを紹介する。 MobiZOは、微調整精度を向上しつつ、実行時の大幅な高速化とメモリ節約を実現する。 MobiZOは、微調整精度を向上しつつ、実行時の大幅なスピードアップとメモリ節約を実現している。
  論文  参考訳（メタデータ） (2024-09-23T20:14:09Z)
• Comparing Hyper-optimized Machine Learning Models for Predicting Efficiency Degradation in Organic Solar Cells [38.647921189039934]
  本研究は,有機太陽電池 (OSC) の電力変換効率 (PCE) に苦しむ時間的劣化を表現するための機械学習モデルを提案する。 製造プロセスと環境条件の両方に関して最大7変数を含む996項目のデータベースを180日間以上作成しました。 一方、根平均二乗誤差(RMSE)、二乗誤差(SSE)の和、および平均絶対誤差(MAE)>1%の目標値であるPCEは、係数決定(R2)の値に達した。
  論文  参考訳（メタデータ） (2024-03-29T22:05:26Z)
• HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM Inference [68.59839755875252]
  HiREは2つの新しいコンポーネントから構成される: (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (ii) DA-TOP-$k$: 効率的なマルチデバイス近似トップ-k$演算子) (i) (i) (i) (i) (i) (i) (i) DA-TOP-$k$演算子) 。 我々は、10億のパラメータモデルにおいて、HiREがソフトマックスとフィードフォワード層の両方に適用され、ほぼ一致した事前学習と下流の精度を実現し、1台のTPUv5eデバイスで1.47Times$の推論遅延を高速化することを示した。
  論文  参考訳（メタデータ） (2024-02-14T18:04:36Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• Cheaply Evaluating Inference Efficiency Metrics for Autoregressive Transformer APIs [66.30706841821123]
  大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。 LLMは、推論時でさえ非常に計算コストが高い。 モデル間での推論効率を比較するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-05-03T21:51:42Z)
• MPC-Pipe: an Efficient Pipeline Scheme for Secure Multi-party Machine Learning Inference [5.7203077366666015]
  重なり合う計算と通信の手順を慎重に整理することは可能であることを示す。 MPC-Pipeは機械学習ワークロードのトレーニングと推論の両方に効率的なMPCシステムである。
  論文  参考訳（メタデータ） (2022-09-27T19:16:26Z)
• CPM-2: Large-scale Cost-effective Pre-trained Language Models [71.59893315671997]
  本稿では, PLM を用いた事前学習, 微調整, 推論の効率性問題に対処するための費用対効果技術について述べる。 我々は,既存のPLMをスクラッチからトレーニングする代わりに活用することで,事前学習プロセスの促進を目的とした知識継承を導入する。 計算資源が限られている大規模PLMに対して,新しい推論ツールキット,すなわちInfMoEを実装した。
  論文  参考訳（メタデータ） (2021-06-20T15:43:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。