論文の概要: Has My System Prompt Been Used? Large Language Model Prompt Membership Inference
- arxiv url: http://arxiv.org/abs/2502.09974v1
- Date: Fri, 14 Feb 2025 08:00:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-17 14:46:48.324138
- Title: Has My System Prompt Been Used? Large Language Model Prompt Membership Inference
- Title（参考訳）: 私のシステムプロンプトは使われたか? 大規模言語モデルプロンプトメンバーシップ推論
- Authors: Roman Levin, Valeriia Cherepanova, Abhimanyu Hans, Avi Schwarzschild, Tom Goldstein,
- Abstract要約: Prompt Detectiveは,システムプロンプトがサードパーティの言語モデルによって使用されているかどうかを確実に判断する統計手法である。
我々の研究は、システムの小さな変更でさえ、異なる応答分布に現れ、統計的に意味のある迅速な使用を検証できることを明らかにした。
- 参考スコア（独自算出の注目度）: 56.20586932251531
- License:
- Abstract: Prompt engineering has emerged as a powerful technique for optimizing large language models (LLMs) for specific applications, enabling faster prototyping and improved performance, and giving rise to the interest of the community in protecting proprietary system prompts. In this work, we explore a novel perspective on prompt privacy through the lens of membership inference. We develop Prompt Detective, a statistical method to reliably determine whether a given system prompt was used by a third-party language model. Our approach relies on a statistical test comparing the distributions of two groups of model outputs corresponding to different system prompts. Through extensive experiments with a variety of language models, we demonstrate the effectiveness of Prompt Detective for prompt membership inference. Our work reveals that even minor changes in system prompts manifest in distinct response distributions, enabling us to verify prompt usage with statistical significance.
- Abstract（参考訳）: プロンプトエンジニアリングは、特定のアプリケーションに対して大きな言語モデル(LLM)を最適化し、より高速なプロトタイピングとパフォーマンス向上を実現し、プロプライエタリなシステムプロンプトを保護するためのコミュニティの関心を喚起する強力な技術として登場した。
本研究では,メンバーシップ推論のレンズを通して,プライバシの促進に向けた新たな視点を探求する。
Prompt Detectiveは,システムプロンプトがサードパーティの言語モデルによって使用されているかどうかを確実に判断する統計手法である。
提案手法は,異なるシステムプロンプトに対応する2つのモデル出力の分布を統計的に比較することに依存する。
様々な言語モデルを用いた広範囲な実験を通じて,Prompt Detectiveの有効性を検証した。
我々の研究は、システムの小さな変更でさえ、異なる応答分布に現れ、統計的に意味のある迅速な使用を検証できることを明らかにした。
関連論文リスト
- Prompt Selection Matters: Enhancing Text Annotations for Social Sciences with Large Language Models [0.5735035463793009]
性能はプロンプト間で大きく異なり,高品質なプロンプトを体系的に構築するために自動プロンプト最適化手法を適用する。
我々はまた、このメソッドのシンプルなブラウザベースの実装をコミュニティに提供する。
論文 参考訳（メタデータ） (2024-07-15T12:04:32Z) - Prompt Exploration with Prompt Regression [38.847668543140315]
本稿では,プロンプト回帰を用いたプロンプト探索(Pmpt Exploration with Prompt Regression,PEPR)を提案する。
我々は,複数の異なるタスクに対して,異なるサイズのオープンソースLLMを用いてアプローチを評価した。
論文 参考訳（メタデータ） (2024-05-17T20:30:49Z) - DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever [83.33209603041013]
マルチモーダルダイアログ検索のためのパラメータ効率の高いプロンプトチューニング手法であるDialCLIPを提案する。
提案手法では,事前学習された視覚言語モデルCLIP内のプロンプトに抽出された文脈特徴を学習するためのマルチモーダルコンテキスト生成手法を提案する。
様々なタイプの検索を容易にするために,CLIP出力からマルチモーダル表現空間へのマッピングを学習するために,複数の専門家を設計する。
論文 参考訳（メタデータ） (2024-01-02T07:40:12Z) - Demystifying Prompts in Language Models via Perplexity Estimation [109.59105230163041]
プロンプトのパフォーマンスは、モデルが含んでいる言語に精通している範囲と結合している。
プロンプトの難易度が低ければ低いほど、プロンプトがタスクを実行することができることを示す。
論文 参考訳（メタデータ） (2022-12-08T02:21:47Z) - TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。
従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。
本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文 参考訳（メタデータ） (2022-11-21T22:38:20Z) - Interactive and Visual Prompt Engineering for Ad-hoc Task Adaptation
with Large Language Models [116.25562358482962]
最先端のニューラルネットワークモデルは、教師付きトレーニングを必要とせずに、アドホックな言語タスクを解決するために使用することができる。
PromptIDEを使えば、ユーザはプロンプトのバリエーションを試すことができ、プロンプトのパフォーマンスを視覚化し、反復的にプロンプトを最適化できる。
論文 参考訳（メタデータ） (2022-08-16T17:17:53Z) - Zero-shot Cross-lingual Transfer of Prompt-based Tuning with a Unified
Multilingual Prompt [98.26682501616024]
我々はUniPromptと呼ばれるすべての言語に対して統一的なプロンプトを使用する新しいモデルを提案する。
統一的なプロンプトは多言語 PLM による計算であり、言語に依存しない表現を生成する。
提案手法は、異なる言語間で強いベースラインを著しく上回ることができる。
論文 参考訳（メタデータ） (2022-02-23T11:57:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。