論文の概要: Make Them Spill the Beans! Coercive Knowledge Extraction from
(Production) LLMs
- arxiv url: http://arxiv.org/abs/2312.04782v1
- Date: Fri, 8 Dec 2023 01:41:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 16:20:16.812569
- Title: Make Them Spill the Beans! Coercive Knowledge Extraction from
(Production) LLMs
- Title（参考訳）: 豆をこぼせ!
生産)llmからの強制的知識抽出
- Authors: Zhuo Zhang, Guangyu Shen, Guanhong Tao, Siyuan Cheng, Xiangyu Zhang
- Abstract要約: LLMが有害な要求を拒絶しても、有害な応答が出力ロジットの奥深くに隠されることがよくあります。
このアプローチは、脱獄方法と異なり、有効性は62%に対して92%、高速性は10～20倍である。
本研究は, コーディングタスクに特化して設計されたモデルから, 有毒な知識を抽出できることを示唆する。
- 参考スコア（独自算出の注目度）: 31.80386572346993
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) are now widely used in various applications,
making it crucial to align their ethical standards with human values. However,
recent jail-breaking methods demonstrate that this alignment can be undermined
using carefully constructed prompts. In our study, we reveal a new threat to
LLM alignment when a bad actor has access to the model's output logits, a
common feature in both open-source LLMs and many commercial LLM APIs (e.g.,
certain GPT models). It does not rely on crafting specific prompts. Instead, it
exploits the fact that even when an LLM rejects a toxic request, a harmful
response often hides deep in the output logits. By forcefully selecting
lower-ranked output tokens during the auto-regressive generation process at a
few critical output positions, we can compel the model to reveal these hidden
responses. We term this process model interrogation. This approach differs from
and outperforms jail-breaking methods, achieving 92% effectiveness compared to
62%, and is 10 to 20 times faster. The harmful content uncovered through our
method is more relevant, complete, and clear. Additionally, it can complement
jail-breaking strategies, with which results in further boosting attack
performance. Our findings indicate that interrogation can extract toxic
knowledge even from models specifically designed for coding tasks.
- Abstract（参考訳）: 大規模言語モデル(llm)は現在、様々なアプリケーションで広く使われており、倫理基準を人間の価値観に合わせることが重要である。
しかし、最近の脱獄法は、慎重に構築されたプロンプトを使って、このアライメントを弱めることができることを示している。
本研究は,オープンソースLLMと多くの商用LLM API(例えば,一部のGPTモデル)の共通機能である,悪いアクターがモデルの出力ロジットにアクセスした場合に,LCMアライメントに対する新たな脅威を明らかにするものである。
特定のプロンプトの作成には依存していない。
代わりに、LSMが有害な要求を拒絶しても、有害な応答が出力ログの奥深くに隠れるという事実を利用する。
自動回帰生成プロセス中の低ランク出力トークンをいくつかの臨界出力位置で強制的に選択することにより、モデルにこれらの隠れ応答を明らかにすることができる。
この過程モデルを尋問と呼ぶ。
このアプローチは刑務所収監方法と異なり、有効率は62%に対して92%で、10倍から20倍高速である。
私たちの方法で発見された有害なコンテンツは、より関連性があり、完全で、明確です。
さらに、脱獄戦略を補完し、攻撃性能をさらに向上させることができる。
本研究は,コーディングタスク用に特別に設計されたモデルからでも有毒な知識を抽出できることを示す。
関連論文リスト
- DROJ: A Prompt-Driven Attack against Large Language Models [0.0]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる例外的な機能を示している。
大規模なアライメント努力にもかかわらず、LLMは相変わらず敵の脱獄攻撃を受けやすいままである。
我々はDROJ(Directed Rrepresentation Optimization Jailbreak)という新しいアプローチを導入する。
論文 参考訳（メタデータ） (2024-11-14T01:48:08Z) - Multi-round jailbreak attack on large language models [2.540971544359496]
私たちは"ジェイルブレイク"攻撃をよりよく理解するために、マルチラウンドのジェイルブレイクアプローチを導入します。
この方法は危険なプロンプトを書き換え、有害でない一連のサブクエストに分解する。
実験の結果,ラマ2-7Bは94%の成功率を示した。
論文 参考訳（メタデータ） (2024-10-15T12:08:14Z) - Aligning LLMs to Be Robust Against Prompt Injection [55.07562650579068]
インジェクション攻撃に対してLCMをより堅牢にするための強力なツールとしてアライメントが有効であることを示す。
私たちのメソッド -- SecAlign -- は、最初に、プロンプトインジェクション攻撃をシミュレートしてアライメントデータセットを構築します。
実験の結果,SecAlign は LLM を大幅に強化し,モデルの実用性に悪影響を及ぼすことが示された。
論文 参考訳（メタデータ） (2024-10-07T19:34:35Z) - Output Scouting: Auditing Large Language Models for Catastrophic Responses [1.5703117863274307]
近年、Large Language Models(LLMs)の使用が個人に重大な害を与え、AI安全性への関心が高まっている。
LLMの安全性が問題となる理由の1つは、モデルが有害な出力を発生させる確率が少なくともゼロでない場合が多いことである。
本稿では,任意の確率分布に適合する任意のプロンプトに対して,意味論的に流動的なアウトプットを生成することを目的としたアウトプット・スカウトを提案する。
論文 参考訳（メタデータ） (2024-10-04T18:18:53Z) - Extracting Memorized Training Data via Decomposition [24.198975804570072]
本稿では,2つのフロンティア大言語モデルからニュース記事を抽出する,簡単なクエリベースの分解手法を示す。
73項目から少なくとも1文を抽出し,6項目から20%以上の動詞文を抽出した。
大規模に複製可能であれば、このトレーニングデータ抽出手法は、新たなLLMセキュリティと安全性の脆弱性を公開する可能性がある。
論文 参考訳（メタデータ） (2024-09-18T23:59:32Z) - MEGen: Generative Backdoor in Large Language Models via Model Editing [56.46183024683885]
大規模言語モデル(LLM)は目覚ましい能力を示している。
その強力な生成能力は、様々なクエリや命令に基づいて柔軟な応答を可能にする。
本稿では,最小サイドエフェクトでNLPタスクをカスタマイズしたバックドアを構築することを目的とした,MEGenという編集ベースの生成バックドアを提案する。
論文 参考訳（メタデータ） (2024-08-20T10:44:29Z) - Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。
そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。
このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
論文 参考訳（メタデータ） (2024-06-02T16:53:21Z) - PARDEN, Can You Repeat That? Defending against Jailbreaks via Repetition [10.476666078206783]
大規模言語モデル(LLM)は多くの自然言語処理タスクで成功している。
Llama 2やClaude 2のような安全アライメントのLLMは、厳格な安全アライメントプロセスにもかかわらず、今でもジェイルブレイクの影響を受けやすい。
PARDENは、単にモデルに自身の出力を繰り返すように頼み、ドメインシフトを避ける。
論文 参考訳（メタデータ） (2024-05-13T17:08:42Z) - Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。
パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。
ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
論文 参考訳（メタデータ） (2024-02-19T11:11:08Z) - On the Safety of Open-Sourced Large Language Models: Does Alignment
Really Prevent Them From Being Misused? [49.99955642001019]
オープンソースでアライメントされた大きな言語モデルは、望ましくないコンテンツを生成するために簡単に誤解される可能性があることを示す。
我々のキーとなる考え方は、オープンソースLLMの生成プロセスを直接操作して、望ましくないコンテンツを生成するのを誤解することです。
論文 参考訳（メタデータ） (2023-10-02T19:22:01Z) - Universal and Transferable Adversarial Attacks on Aligned Language
Models [118.41733208825278]
本稿では,アライメント言語モデルに反抗的な振る舞いを生じさせる,シンプルで効果的な攻撃手法を提案する。
驚いたことに、我々のアプローチによって生じる敵のプロンプトは、かなり伝達可能である。
論文 参考訳（メタデータ） (2023-07-27T17:49:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。