Fugu-MT 論文翻訳(概要): Last One Standing: A Comparative Analysis of Security and Privacy of Soft Prompt Tuning, LoRA, and In-Context Learning

論文の概要: Last One Standing: A Comparative Analysis of Security and Privacy of Soft Prompt Tuning, LoRA, and In-Context Learning

arxiv url: http://arxiv.org/abs/2310.11397v1
Date: Tue, 17 Oct 2023 17:03:00 GMT
ステータス: 処理完了
システム内更新日: 2023-10-18 14:59:33.395265
Title: Last One Standing: A Comparative Analysis of Security and Privacy of Soft Prompt Tuning, LoRA, and In-Context Learning
Title（参考訳）: ラストワンスタンド: ソフトプロンプトチューニング, LoRA, コンテキスト内学習のセキュリティとプライバシの比較分析
Authors: Rui Wen, Tianhao Wang, Michael Backes, Yang Zhang, Ahmed Salem
Abstract要約: 大きな言語モデル(LLM)は自然言語処理のための強力なツールであり、新しいアプリケーションやユーザエクスペリエンスを可能にする。 LLMは、プライバシとセキュリティ上の問題を引き起こすプライベートデータへの適応を必要とすることが多い。 LLMをプライベートデータに適用するためのいくつかの手法が提案されているが、それらの比較プライバシーとセキュリティ特性は体系的に研究されていない。
参考スコア（独自算出の注目度）: 25.454403998164203
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) are powerful tools for natural language processing, enabling novel applications and user experiences. However, to achieve optimal performance, LLMs often require adaptation with private data, which poses privacy and security challenges. Several techniques have been proposed to adapt LLMs with private data, such as Low-Rank Adaptation (LoRA), Soft Prompt Tuning (SPT), and In-Context Learning (ICL), but their comparative privacy and security properties have not been systematically investigated. In this work, we fill this gap by evaluating the robustness of LoRA, SPT, and ICL against three types of well-established attacks: membership inference, which exposes data leakage (privacy); backdoor, which injects malicious behavior (security); and model stealing, which can violate intellectual property (privacy and security). Our results show that there is no silver bullet for privacy and security in LLM adaptation and each technique has different strengths and weaknesses.
Abstract（参考訳）: 大きな言語モデル(LLM)は自然言語処理のための強力なツールであり、新しいアプリケーションやユーザエクスペリエンスを可能にする。しかし、最適なパフォーマンスを得るためには、LLMはプライベートデータへの適応を必要とすることが多く、プライバシとセキュリティ上の問題を引き起こす。 Low-Rank Adaptation (LoRA)、Soft Prompt Tuning (SPT)、In-Context Learning (ICL)など、LLMをプライベートデータに適応させる技術が提案されているが、それらのプライバシーとセキュリティ特性は体系的に研究されていない。本研究では,データ漏洩(プライバシー)を暴露するメンバシップ推論,悪意のある行動(セキュリティ)を注入するバックドア,知的財産(プライバシーとセキュリティ)を侵害するモデル盗みの3種類の攻撃に対して,lora,spt,iclのロバスト性を評価することにより,このギャップを埋める。その結果,llm適応ではプライバシとセキュリティに銀の弾丸はなく,それぞれに長所と短所があることがわかった。

関連論文リスト

Differentially Private Steering for Large Language Model Alignment [55.30573701583768]
本稿では,大規模言語モデルとプライベートデータセットの整合性に関する最初の研究について述べる。本研究では, LLM underlineAment (PSA) アルゴリズムのためのtextitunderlinePrivate underlineSteeringを提案する。以上の結果から,PSAはLPMアライメントのDP保証を実現し,性能の低下を最小限に抑えることができた。
論文参考訳（メタデータ） (2025-01-30T17:58:36Z)
Privacy-Preserving Customer Support: A Framework for Secure and Scalable Interactions [0.0]
本稿では,大規模言語モデル(LLM)をゼロショット学習モードで活用する新しいアプローチとして,プライバシー保護ゼロショット学習(PP-ZSL)フレームワークを提案する。従来の機械学習手法とは異なり、PP-ZSLは、事前学習されたLLMを使用して直接応答を生成することで、機密データに対する局所的なトレーニングを不要にしている。このフレームワークには、リアルタイムデータ匿名化による機密情報の修正やマスク、ドメイン固有のクエリ解決のための検索強化生成(RAG)、規制基準の遵守を保証するための堅牢な後処理が含まれている。
論文参考訳（メタデータ） (2024-12-10T17:20:47Z)
Privacy-Preserving Large Language Models: Mechanisms, Applications, and Future Directions [0.0]
本調査では,大規模言語モデルに適したプライバシ保護機構の展望について考察する。メンバーシップ推論やモデル逆転攻撃といった重要なプライバシー問題に対処する上での有効性を検討する。本稿では、最先端のアプローチと今後のトレンドを合成することによって、堅牢でプライバシーに配慮した大規模言語モデルを構築するための基盤を提供する。
論文参考訳（メタデータ） (2024-12-09T00:24:09Z)
Model-Based Privacy-Preserving Knowledge Transfer for Large Language Models [34.949731264918846]
Llamdexは大規模言語モデル(LLM)を強化するフレームワークで、ドメイン固有のデータに基づいてトレーニングされたモデルのみを使用する。提案手法は,ドメイン固有のタスクの精度を大幅に向上し,最大26%の精度向上を実現する。
論文参考訳（メタデータ） (2024-10-14T13:18:20Z)
LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
論文参考訳（メタデータ） (2024-08-23T01:37:29Z)
Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
論文参考訳（メタデータ） (2024-07-16T14:28:56Z)
No Free Lunch Theorem for Privacy-Preserving LLM Inference [30.554456047738295]
本研究では,プライバシ保護型大規模言語モデル(LLM)を推定するためのフレームワークを開発する。プライバシー保護とユーティリティの相互作用を調べるための、しっかりとした理論的基盤を築いている。
論文参考訳（メタデータ） (2024-05-31T08:22:53Z)
A Survey on Large Language Model (LLM) Security and Privacy: The Good, the Bad, and the Ugly [21.536079040559517]
大規模言語モデル(LLM)は、自然言語の理解と生成に革命をもたらした。本稿では,LLMとセキュリティとプライバシの交わりについて考察する。
論文参考訳（メタデータ） (2023-12-04T16:25:18Z)
Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文参考訳（メタデータ） (2023-10-27T04:15:30Z)
Privacy in Large Language Models: Attacks, Defenses and Future Directions [84.73301039987128]
大規模言語モデル(LLM)を対象とした現在のプライバシ攻撃を分析し、敵の想定能力に応じて分類する。本稿では、これらのプライバシー攻撃に対抗するために開発された防衛戦略について概説する。
論文参考訳（メタデータ） (2023-10-16T13:23:54Z)
PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文参考訳（メタデータ） (2023-10-03T22:37:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。