Fugu-MT 論文翻訳(概要): SLIP: Securing LLMs IP Using Weights Decomposition

論文の概要: SLIP: Securing LLMs IP Using Weights Decomposition

arxiv url: http://arxiv.org/abs/2407.10886v2
Date: Thu, 1 Aug 2024 20:34:18 GMT
ステータス: 処理完了
システム内更新日: 2024-08-05 15:50:45.721029
Title: SLIP: Securing LLMs IP Using Weights Decomposition
Title（参考訳）: SLIP:重み分解を用いたLLMIPのセキュア化
Authors: Yehonathan Refael, Adam Hakim, Lev Greenberg, Tal Aviv, Satya Lokam, Ben Fishman, Shachar Seidman,
Abstract要約: 大規模言語モデル(LLM)は、最近、アカデミックと産業の両方で広く採用されている。これらのモデルが成長するにつれて、彼らは価値ある知的財産権(IP)となり、所有者による巨額の投資を反映している。エッジ上のモデルのIPを保護する現在の方法は、実用性、精度の低下、要求に対する適合性の制限がある。我々は,エッジデデプロイされたモデルを盗難から保護するために,SLIPという新しいハイブリッド推論アルゴリズムを導入する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) have recently seen widespread adoption, in both academia and industry. As these models grow, they become valuable intellectual property (IP), reflecting enormous investments by their owners. Moreover, the high cost of cloud-based deployment has driven interest towards deployment to edge devices, yet this risks exposing valuable parameters to theft and unauthorized use. Current methods to protect models' IP on the edge have limitations in terms of practicality, loss in accuracy, or suitability to requirements. In this paper, we introduce a novel hybrid inference algorithm, named SLIP, designed to protect edge-deployed models from theft. SLIP is the first hybrid protocol that is both practical for real-world applications and provably secure, while having zero accuracy degradation and minimal impact on latency. It involves partitioning the model between two computing resources, one secure but expensive, and another cost-effective but vulnerable. This is achieved through matrix decomposition, ensuring that the secure resource retains a maximally sensitive portion of the model's IP while performing a minimal amount of computations, and vice versa for the vulnerable resource. Importantly, the protocol includes security guarantees that prevent attackers from exploiting the partition to infer the secured information. Finally, we present experimental results that show the robustness and effectiveness of our method, positioning it as a compelling solution for protecting LLMs.
Abstract（参考訳）: 大規模言語モデル(LLM)は、最近、アカデミックと産業の両方で広く採用されている。これらのモデルが成長するにつれて、彼らは価値ある知的財産権(IP)となり、所有者による巨額の投資を反映している。さらに、クラウドベースのデプロイメントのコストが高いことから、エッジデバイスへのデプロイメントへの関心が高まっている。エッジ上のモデルのIPを保護する現在の方法は、実用性、精度の低下、要求に対する適合性の制限がある。本稿では,エッジデデプロイされたモデルを盗難から保護するために,SLIPという新しいハイブリッド推論アルゴリズムを提案する。 SLIPは、現実のアプリケーションには実用的であり、信頼性の低下やレイテンシへの影響を最小限に抑えながら、確実にセキュアな最初のハイブリッドプロトコルである。モデルは2つのコンピューティングリソース間で分割され、1つは安全だが高価で、もう1つはコスト効率が良いが脆弱性がある。これは行列分解によって達成され、セキュアなリソースが最小の計算量を実行しながら、モデルのIPの最大機密部分を保持することを保証する。重要なことに、このプロトコルには、攻撃者が機密情報を推測するためにパーティションを悪用することを防ぐセキュリティ保証が含まれている。最後に,本手法のロバスト性と有効性を示す実験結果について述べる。

関連論文リスト

The Communication-Friendly Privacy-Preserving Machine Learning against Malicious Adversaries [14.232901861974819]
プライバシー保護機械学習(PPML)は、機密情報を保護しながらセキュアなデータ分析を可能にする革新的なアプローチである。セキュアな線形関数評価のための効率的なプロトコルを導入する。我々は、このプロトコルを拡張して、線形層と非線形層を扱い、幅広い機械学習モデルとの互換性を確保する。
論文参考訳（メタデータ） (2024-11-14T08:55:14Z)
Iterative Self-Tuning LLMs for Enhanced Jailbreaking Capabilities [63.603861880022954]
本稿では,対戦型LDMをジェイルブレイク能力に富んだ反復的自己調整プロセスであるADV-LLMを紹介する。我々のフレームワークは,様々なオープンソース LLM 上で ASR を100% 近く達成しながら,逆接接尾辞を生成する計算コストを大幅に削減する。 Llama3のみに最適化されているにもかかわらず、GPT-3.5では99%のASR、GPT-4では49%のASRを達成している。
論文参考訳（メタデータ） (2024-10-24T06:36:12Z)
PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
論文参考訳（メタデータ） (2024-07-12T03:18:08Z)
Jailbreaking as a Reward Misspecification Problem [80.52431374743998]
本稿では,この脆弱性をアライメントプロセス中に不特定性に対処する新たな視点を提案する。本稿では,報酬の相違の程度を定量化し,その有効性を実証する指標ReGapを紹介する。 ReMissは、報酬ミスの空間で敵のプロンプトを生成する自動レッドチームリングシステムである。
論文参考訳（メタデータ） (2024-06-20T15:12:27Z)
Defensive Prompt Patch: A Robust and Interpretable Defense of LLMs against Jailbreak Attacks [59.46556573924901]
本稿では,大規模言語モデル(LLM)のための新しいプロンプトベースの防御機構であるDPPを紹介する。従来のアプローチとは異なり、DPP は LLM の高能率を維持しながら最小の攻撃成功率 (ASR) を達成するように設計されている。 LLAMA-2-7B-ChatおよびMistral-7B-Instruct-v0.2モデルによる実験結果から,DSPの堅牢性と適応性が確認された。
論文参考訳（メタデータ） (2024-05-30T14:40:35Z)
RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
論文参考訳（メタデータ） (2024-03-19T07:25:02Z)
MAP: MAsk-Pruning for Source-Free Model Intellectual Property Protection [18.99205251538783]
MAsk Pruning (MAP) は、ターゲット関連パラメータをよく訓練されたモデルで探索・解析するためのフレームワークである。 MAPはソースモデルを凍結し、ターゲット固有のバイナリマスクを学び、不正なデータの使用を防止する。大規模な実験により、MAPは新たな最先端のパフォーマンスをもたらすことが示されている。
論文参考訳（メタデータ） (2024-03-07T02:10:59Z)
EncryIP: A Practical Encryption-Based Framework for Model Intellectual Property Protection [17.655627250882805]
本稿では,TextitEncryIPという,実用的な暗号化ベースのフレームワークを紹介する。公開鍵暗号スキームをモデル学習プロセスにシームレスに統合する。これは、トレーニングされた保護されたモデルと、許可されていないMLモデルの拡散を効率的に検出する双方において、優れた効果を示す。
論文参考訳（メタデータ） (2023-12-19T11:11:03Z)
MirrorNet: A TEE-Friendly Framework for Secure On-device DNN Inference [14.08010398777227]
ディープニューラルネットワーク(DNN)モデルは、リアルタイム推論のためのエッジデバイスで普及している。既存の防御アプローチでは、モデルの機密性を完全に保護できないか、あるいは重大なレイテンシの問題が発生する。本稿では、モデル機密性を保護するため、任意のDNNモデルに対してTEEフレンドリーな実装を生成するMirrorNetを提案する。評価のために、MirrorNetは認証と違法使用の間に18.6%の精度差を達成でき、ハードウェアオーバーヘッドは0.99%に過ぎなかった。
論文参考訳（メタデータ） (2023-11-16T01:21:19Z)
Private, Efficient, and Accurate: Protecting Models Trained by Multi-party Learning with Differential Privacy [8.8480262507008]
セキュアなDPSGDプロトコルと2つの最適化手法からなるPEA(Private, Efficient, Accurate)を提案する。 TF-Encrypted と Queqiao の2つのオープンソース MPL フレームワークで PEA を実装しています。 PEAはLAN設定下7分以内でCIFAR-10の精度88%の差分プライベート分類モデルを訓練できることを示した。
論文参考訳（メタデータ） (2022-08-18T06:48:25Z)
Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive Privacy Analysis and Beyond [57.10914865054868]
垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
論文参考訳（メタデータ） (2022-07-19T05:47:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。