論文の概要: CryptPEFT: Efficient and Private Neural Network Inference via Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2508.12264v1
• Date: Sun, 17 Aug 2025 07:19:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.646011
• Title: CryptPEFT: Efficient and Private Neural Network Inference via Parameter-Efficient Fine-Tuning
• Title（参考訳）: CryptPEFT:パラメータ効率の良いファインチューニングによる効率的でプライベートなニューラルネットワーク推論
• Authors: Saisai Xia, Wenhao Wang, Zihao Wang, Yuhui Zhang, Yier Jin, Dan Meng, Rui Hou,
• Abstract要約: CryptPEFTはワンウェイ通信(OWC)アーキテクチャであり、アダプタのみに暗号化されている。 我々は、広く使われている画像分類データセット間でビジョントランスフォーマーのバックボーンを用いてCryptPEFTを評価する。 この結果、CryptPEFTは既存のベースラインを大幅に上回り、シミュレーションワイドエリアネットワーク(WAN)とローカルエリアネットワーク(LAN)設定で20.62タイム(20.62ドル)から291.48タイム(291.48ドル)までのスピードアップを実現した。
• 参考スコア（独自算出の注目度）: 30.907363931760532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Publicly available large pretrained models (i.e., backbones) and lightweight adapters for parameter-efficient fine-tuning (PEFT) have become standard components in modern machine learning pipelines. However, preserving the privacy of both user inputs and fine-tuned adapters -- often trained on sensitive data -- during inference remains a significant challenge. Applying cryptographic techniques, such as multi-party computation (MPC), to PEFT settings still incurs substantial encrypted computation across both the backbone and adapter, mainly due to the inherent two-way communication between them. To address this limitation, we propose CryptPEFT, the first PEFT solution specifically designed for private inference scenarios. CryptPEFT introduces a novel one-way communication (OWC) architecture that confines encrypted computation solely to the adapter, significantly reducing both computational and communication overhead. To maintain strong model utility under this constraint, we explore the design space of OWC-compatible adapters and employ an automated architecture search algorithm to optimize the trade-off between private inference efficiency and model utility. We evaluated CryptPEFT using Vision Transformer backbones across widely used image classification datasets. Our results show that CryptPEFT significantly outperforms existing baselines, delivering speedups ranging from $20.62\times$ to $291.48\times$ in simulated wide-area network (WAN) and local-area network (LAN) settings. On CIFAR-100, CryptPEFT attains 85.47% accuracy with just 2.26 seconds of inference latency. These findings demonstrate that CryptPEFT offers an efficient and privacy-preserving solution for modern PEFT-based inference.
• Abstract（参考訳）: 広く利用可能な大規模な事前訓練モデル(バックボーン)とパラメータ効率の細かいチューニング(PEFT)のための軽量アダプタは、現代の機械学習パイプラインの標準コンポーネントとなっている。 しかし、推論中にユーザー入力と微調整されたアダプタ(しばしば機密データで訓練される)の両方のプライバシを保存することは大きな課題である。 マルチパーティ計算(MPC)のような暗号化手法をPEFT設定に適用すると、バックボーンとアダプタの両方でかなりの暗号化計算が生じる。 この制限に対処するため,私的推論シナリオに特化して設計された最初のPEFTソリューションであるCryptPEFTを提案する。 CryptPEFTは、新しいワンウェイ通信(OWC)アーキテクチャを導入し、暗号化された計算をアダプタのみに限定し、計算と通信のオーバーヘッドを大幅に削減した。 この制約の下で強力なモデルユーティリティを維持するため,OWC互換アダプタの設計空間を探索し,プライベート推論効率とモデルユーティリティとのトレードオフを最適化するために,アーキテクチャ検索アルゴリズムを用いた。 我々は、広く使われている画像分類データセット間でビジョントランスフォーマーのバックボーンを用いてCryptPEFTを評価した。 我々の結果は,CryptPEFTが既存のベースラインを著しく上回り,20.62\times$から291.48\times$のシミュレーションワイドエリアネットワーク(WAN)およびローカルエリアネットワーク(LAN)設定でのスピードアップを実現していることを示している。 CIFAR-100では、CryptPEFTの精度は85.47%、推論遅延はわずか2.26秒である。 これらの結果は、CryptPEFTが、現代のPEFTベースの推論のための効率的でプライバシー保護のソリューションを提供することを示している。

関連論文リスト

• Task-Oriented Feature Compression for Multimodal Understanding via Device-Edge Co-Inference [49.77734021302196]
  本稿では,マルチモーダル理解のためのタスク指向特徴圧縮(TOFC)手法を提案する。 圧縮効率を向上させるために、視覚特徴の特性に基づいて複数のエントロピーモデルを適応的に選択する。 その結果,TOFCはデータ転送オーバーヘッドを最大52%削減し,システム遅延を最大63%削減できることがわかった。
  論文  参考訳（メタデータ） (2025-03-17T08:37:22Z)
• IISAN: Efficiently Adapting Multimodal Representation for Sequential Recommendation with Decoupled PEFT [45.95678408227546]
  IISAN(Intra- and Inter-modal Side Adapted Network for Multimodal Representation)は、シーケンシャルなレコメンデーションシステムのためのプラグイン・アンド・プレイアーキテクチャである。 IISANはフルファインチューニング(FFT)と最先端PEFTのパフォーマンスにマッチする。 マルチモーダルシーケンシャルレコメンデーションタスクでは、47GBからわずか3GBへと大幅に削減される。
  論文  参考訳（メタデータ） (2024-04-02T15:58:36Z)
• Toward Practical Privacy-Preserving Convolutional Neural Networks Exploiting Fully Homomorphic Encryption [11.706881389387242]
  準同型暗号化(FHE)は、プライベート推論(PI)を実現するための実行可能なアプローチである FHEのCNNの実装は、主に計算とメモリのオーバーヘッドが大きいため、大きなハードルに直面している。 本稿では、GPU/ASICアクセラレーション、効率的なアクティベーション機能、最適化されたパッキングスキームを含む最適化セットを提案する。
  論文  参考訳（メタデータ） (2023-10-25T10:24:35Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration Framework [56.57225686288006]
  モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。 従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。 プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-13T23:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。