論文の概要: SecPE: Secure Prompt Ensembling for Private and Robust Large Language Models

• arxiv url: http://arxiv.org/abs/2502.00847v1
• Date: Sun, 02 Feb 2025 16:40:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:00:52.603611
• Title: SecPE: Secure Prompt Ensembling for Private and Robust Large Language Models
• Title（参考訳）: SecPE: プライベートおよびロバストな大規模言語モデルのためのセキュアなプロンプト
• Authors: Jiawen Zhang, Kejia Chen, Zunlei Feng, Jian Lou, Mingli Song, Jian Liu, Xiaohu Yang,
• Abstract要約: 我々は,2つの非連結フィールド(プライベート推論と即時アンサンブル)を密に統合し,堅牢かつプライベートなLLM推論に向けた最初の試みである。 本稿では,プロンプトアンサンブルのアルゴリズム構築ブロックに対して,効率的な完全同型暗号(FHE)を設計するSecPEを提案する。 その結果、SecPEは高いクリーンな精度を維持し、わずか2.5%の効率上のオーバーヘッドを犠牲にして、より堅牢性を提供することがわかった。
• 参考スコア（独自算出の注目度）: 40.1319651615647
• License:
• Abstract: With the growing popularity of LLMs among the general public users, privacy-preserving and adversarial robustness have become two pressing demands for LLM-based services, which have largely been pursued separately but rarely jointly. In this paper, to the best of our knowledge, we are among the first attempts towards robust and private LLM inference by tightly integrating two disconnected fields: private inference and prompt ensembling. The former protects users' privacy by encrypting inference data transmitted and processed by LLMs, while the latter enhances adversarial robustness by yielding an aggregated output from multiple prompted LLM responses. Although widely recognized as effective individually, private inference for prompt ensembling together entails new challenges that render the naive combination of existing techniques inefficient. To overcome the hurdles, we propose SecPE, which designs efficient fully homomorphic encryption (FHE) counterparts for the core algorithmic building blocks of prompt ensembling. We conduct extensive experiments on 8 tasks to evaluate the accuracy, robustness, and efficiency of SecPE. The results show that SecPE maintains high clean accuracy and offers better robustness at the expense of merely $2.5\%$ efficiency overhead compared to baseline private inference methods, indicating a satisfactory ``accuracy-robustness-efficiency'' tradeoff. For the efficiency of the encrypted Argmax operation that incurs major slowdown for prompt ensembling, SecPE is 35.4x faster than the state-of-the-art peers, which can be of independent interest beyond this work.
• Abstract（参考訳）: 一般ユーザーの間でLLMの人気が高まっている中、プライバシー保護と敵対的堅牢性は、LLMベースのサービスに対する2つのプレッシャーとなっている。 本稿では,本論文の知識を最大限に活用するために,私的推論と即時アンサンブルという2つの非連結フィールドを密に統合し,堅牢かつプライベートなLLM推論に向けた最初の試みの1つである。 前者は、LLMによって送信・処理された推論データを暗号化してユーザのプライバシを保護する一方、後者は複数のLPM応答から集約された出力を出力することにより、敵の堅牢性を高める。 個人が効果的だと広く認識されているが、迅速なアンサンブルのためのプライベート推論は、既存のテクニックの単純な組み合わせを非効率にする新しい課題を必要とする。 このハードルを克服するために,高速な完全同相暗号(FHE)を設計するSecPEを提案する。 SecPEの精度, 堅牢性, 効率を評価するため, 8つのタスクについて広範囲に実験を行った。 その結果、SecPEは高い清潔さを維持し、ベースラインのプライベート推論手法に比べて2.5\%の効率を犠牲にして、高い堅牢性を保ち、良好な‘精度-ロバスト性-効率’のトレードオフを示すことがわかった。 暗号化されたArgmax操作の効率向上のためには、SecPEは最先端のピアよりも35.4倍高速で、この作業以外には独立した関心を持つことができる。

関連論文リスト

• Efficient Prompt Compression with Evaluator Heads for Long-Context Transformer Inference [6.699062502635993]
  長文入力は大規模言語モデル(LLM)の有効活用に不可欠である 圧縮されたプロンプト内にキー情報を保持できる,効率的な訓練不要なプロンプト圧縮手法を提案する。 我々は,LLMの入力プロンプトを高速に「スキムスルー」できる評価器ヘッドベースプロンプト圧縮を開発した。
  論文  参考訳（メタデータ） (2025-01-22T15:33:17Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• The Early Bird Catches the Leak: Unveiling Timing Side Channels in LLM Serving Systems [26.528288876732617]
  新たなタイミング側チャネルのセットを利用して、機密システムプロンプトと他のユーザによって発行された情報を推測することができる。 これらの脆弱性は、従来のコンピューティングシステムで観察されたセキュリティ上の問題と類似している。 キャッシュ内の共有プロンプトプレフィックスを効率的に回収するトークン・バイ・トークン検索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-30T06:55:00Z)
• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
  大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。 本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。 C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
  論文  参考訳（メタデータ） (2024-05-24T14:20:09Z)
• TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
  本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。 提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
  論文  参考訳（メタデータ） (2024-02-16T16:41:14Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)
• An Efficient and Multi-private Key Secure Aggregation for Federated Learning [41.29971745967693]
  フェデレート学習のための効率的かつ多目的な鍵セキュアアグリゲーション手法を提案する。 具体的には、変種ElGamal暗号を巧みに修正し、同型加算演算を実現する。 高次元深層モデルパラメータに対しては,多次元データを1次元に圧縮する超増進シーケンスを導入する。
  論文  参考訳（メタデータ） (2023-06-15T09:05:36Z)
• When approximate design for fast homomorphic computation provides differential privacy guarantees [0.08399688944263842]
  差分プライバシー(DP)と暗号プリミティブは、プライバシー攻撃に対する一般的な対策である。 本稿では,argmax演算子に対する確率近似アルゴリズム ShiELD を設計する。 たとえShielDが他のアプリケーションを持つことができたとしても、私たちは1つの設定に集中し、SPEEDコラボレーティブトレーニングフレームワークにシームレスに統合します。
  論文  参考訳（メタデータ） (2023-04-06T09:38:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。