論文の概要: TRAP: Targeted Random Adversarial Prompt Honeypot for Black-Box Identification

• arxiv url: http://arxiv.org/abs/2402.12991v1
• Date: Tue, 20 Feb 2024 13:20:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 15:21:12.053038
• Title: TRAP: Targeted Random Adversarial Prompt Honeypot for Black-Box Identification
• Title（参考訳）: TRAP:ブラックボックス識別のためのランダム対応型ハニーポット
• Authors: Martin Gubri, Dennis Ulmer, Hwaran Lee, Sangdoo Yun and Seong Joon Oh
• Abstract要約: BBIV(Black-box Identity Verification)の新たな問題点について述べる。 目標は、サードパーティアプリケーションがチャット機能を通じて特定のLLMを使用するかどうかを判断することである。 本稿では,TRAP (Targeted Random Adversarial Prompt) と呼ばれる,特定のLPMを識別する手法を提案する。
• 参考スコア（独自算出の注目度）: 44.26441565763495
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Model (LLM) services and models often come with legal rules on who can use them and how they must use them. Assessing the compliance of the released LLMs is crucial, as these rules protect the interests of the LLM contributor and prevent misuse. In this context, we describe the novel problem of Black-box Identity Verification (BBIV). The goal is to determine whether a third-party application uses a certain LLM through its chat function. We propose a method called Targeted Random Adversarial Prompt (TRAP) that identifies the specific LLM in use. We repurpose adversarial suffixes, originally proposed for jailbreaking, to get a pre-defined answer from the target LLM, while other models give random answers. TRAP detects the target LLMs with over 95% true positive rate at under 0.2% false positive rate even after a single interaction. TRAP remains effective even if the LLM has minor changes that do not significantly alter the original function.
• Abstract（参考訳）: 大規模言語モデル(LLM)サービスやモデルには,誰が使用可能なのか,どのように使用するべきかに関する法的ルールが伴うことが多い。 これらのルールは、LLMコントリビュータの利益を保護し、誤用を防止するため、リリースされているLLMのコンプライアンスを評価することが重要である。 本稿では,black-box identity verification (bbiv) の新たな問題について述べる。 目標は、サードパーティアプリケーションがチャット機能を通じて特定のLLMを使用するかどうかを判断することだ。 本稿では,TRAP (Targeted Random Adversarial Prompt) と呼ばれる,特定のLPMを識別する手法を提案する。 我々は、ターゲットのllmから事前に定義された回答を得るために、当初ジェイルブレイクのために提案された敵対的接尾辞を再利用し、他のモデルがランダムな回答を与える。 TRAPは標的のLDMを95%以上の正の確率で検出し、1回の相互作用の後にも0.2%以下の偽の正のレートで検出する。 TRAP は LLM が元の関数を著しく変更しない小さな変更をしても有効である。

関連論文リスト

• From Yes-Men to Truth-Tellers: Addressing Sycophancy in Large Language Models with Pinpoint Tuning [89.9648814145473]
  大規模言語モデル(LLM)は、ユーザプロンプトへの順守を、妥当な応答よりも優先する傾向がある。 近年の研究では、教師付き微調整(SFT)を用いて、梅毒問題を軽減することが提案されている。 そこで本研究では,特定の目的のために関心のあるモジュールを調整した新しいピンポイントチューニング(SPT)を提案する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:37Z)
• Model Surgery: Modulating LLM's Behavior Via Simple Parameter Editing [63.20133320524577]
  大言語モデル(LLM)は、ジェネラリストアシスタントとして大きな可能性を示している。 これらのモデルは、非毒性や脱獄の試みに対するレジリエンスなど、望ましい行動特性を示すことが重要である。 本稿では,パラメータの小さなサブセットを直接編集することで,LLMの特定の振る舞いを効果的に調節できることを観察する。
  論文  参考訳（メタデータ） (2024-07-11T17:52:03Z)
• SoK: Membership Inference Attacks on LLMs are Rushing Nowhere (and How to Fix It) [16.673210422615348]
  LLMに対するメンバーシップ推論攻撃(MIA)を行うための10以上の新しい手法が提案されている。 固定された-しかしランダム化された-レコードやモデルに依存する従来のMIAとは対照的に、これらの手法は主にポストホックで収集されたデータセットに基づいて評価される。 このランダム化の欠如は、メンバーと非メンバー間の分散シフトの懸念を引き起こす。
  論文  参考訳（メタデータ） (2024-06-25T23:12:07Z)
• ObscurePrompt: Jailbreaking Large Language Models via Obscure Input [32.00508793605316]
  本稿では,LLMをジェイルブレイクするための単純で斬新な手法であるObscurePromptを紹介する。 まず、脱獄過程における決定境界を定式化し、次にLLMの倫理的決定境界に不明瞭な文章がどう影響するかを考察する。 本手法は,2つの防御機構に対する有効性を保ちながら,攻撃効果の観点から従来の手法を大幅に改善する。
  論文  参考訳（メタデータ） (2024-06-19T16:09:58Z)
• Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• PARDEN, Can You Repeat That? Defending against Jailbreaks via Repetition [10.476666078206783]
  大規模言語モデル(LLM)は多くの自然言語処理タスクで成功している。 Llama 2やClaude 2のような安全アライメントのLLMは、厳格な安全アライメントプロセスにもかかわらず、今でもジェイルブレイクの影響を受けやすい。 PARDENは、単にモデルに自身の出力を繰り返すように頼み、ドメインシフトを避ける。
  論文  参考訳（メタデータ） (2024-05-13T17:08:42Z)
• Evaluation of an LLM in Identifying Logical Fallacies: A Call for Rigor When Adopting LLMs in HCI Research [3.4245017707416157]
  本稿では,デジタル誤情報介入の一部となる論理的誤信を識別するLLMの評価について述べる。 ラベル付きデータセットと比較すると,GPT-4の精度は0.79であり,無効または未同定のインスタンスを除外したユースケースでは0.90であることがわかった。
  論文  参考訳（メタデータ） (2024-04-08T06:00:14Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。