論文の概要: Mondrian: Prompt Abstraction Attack Against Large Language Models for Cheaper API Pricing

• arxiv url: http://arxiv.org/abs/2308.03558v1
• Date: Mon, 7 Aug 2023 13:10:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 13:43:25.756922
• Title: Mondrian: Prompt Abstraction Attack Against Large Language Models for Cheaper API Pricing
• Title（参考訳）: mondrian: より安価なapi価格で大規模言語モデルに対する迅速な抽象化攻撃
• Authors: Wai Man Si, Michael Backes, Yang Zhang
• Abstract要約: 文を抽象化するシンプルで簡単な手法である Mondrian を提案し,LLM API の使用コストを削減できる。 その結果,Mondrianはユーザクエリのトークン長を13%から23%に短縮することに成功した。 その結果、迅速な抽象化攻撃により、API開発とデプロイメントのコストを負担することなく、敵が利益を得ることが可能になる。
• 参考スコア（独自算出の注目度）: 19.76564349397695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Machine Learning as a Service (MLaaS) market is rapidly expanding and becoming more mature. For example, OpenAI's ChatGPT is an advanced large language model (LLM) that generates responses for various queries with associated fees. Although these models can deliver satisfactory performance, they are far from perfect. Researchers have long studied the vulnerabilities and limitations of LLMs, such as adversarial attacks and model toxicity. Inevitably, commercial ML models are also not exempt from such issues, which can be problematic as MLaaS continues to grow. In this paper, we discover a new attack strategy against LLM APIs, namely the prompt abstraction attack. Specifically, we propose Mondrian, a simple and straightforward method that abstracts sentences, which can lower the cost of using LLM APIs. In this approach, the adversary first creates a pseudo API (with a lower established price) to serve as the proxy of the target API (with a higher established price). Next, the pseudo API leverages Mondrian to modify the user query, obtain the abstracted response from the target API, and forward it back to the end user. Our results show that Mondrian successfully reduces user queries' token length ranging from 13% to 23% across various tasks, including text classification, generation, and question answering. Meanwhile, these abstracted queries do not significantly affect the utility of task-specific and general language models like ChatGPT. Mondrian also reduces instruction prompts' token length by at least 11% without compromising output quality. As a result, the prompt abstraction attack enables the adversary to profit without bearing the cost of API development and deployment.
• Abstract（参考訳）: マシンラーニング・アズ・ア・サービス(MLaaS)市場は急速に拡大し、成熟しています。 例えば、OpenAIのChatGPTは高度な大規模言語モデル(LLM)であり、関連する料金で様々なクエリに対する応答を生成する。 これらのモデルは十分なパフォーマンスを提供できるが、完璧には程遠い。 研究者は長年、敵対的攻撃やモデル毒性などのLSMの脆弱性と限界を研究してきた。 必然的に、商用のMLモデルはそのような問題から除外されることはなく、MLaaSが成長し続けるにつれて問題となる可能性がある。 本稿では,LLM APIに対する新たな攻撃戦略,即時抽象化攻撃について述べる。 具体的には、文を抽象化する単純で簡単なメソッドであるmondrianを提案し、llm apiの使用コストを下げる。 このアプローチでは、敵はまず、ターゲットapiのプロキシ(確立価格の高い)として機能する擬似api(確立価格の低い)を作成する。 次に、擬似APIはMondrianを利用してユーザクエリを変更し、ターゲットAPIから抽象化されたレスポンスを取得し、エンドユーザに転送する。 その結果,テキスト分類,生成,質問応答など,さまざまなタスクにおいて,ユーザクエリのトークン長を13%から23%まで短縮することに成功した。 一方、これらの抽象クエリは、ChatGPTのようなタスク固有および一般的な言語モデルの実用性にはあまり影響を与えない。 Mondrianはまた、命令プロンプトのトークン長を、出力品質を損なうことなく、少なくとも11%削減する。 その結果、迅速な抽象化攻撃は、api開発とデプロイメントのコストを伴わずに、敵が利益を得ることができる。

関連論文リスト

• Denial-of-Service Poisoning Attacks against Large Language Models [64.77355353440691]
  LLMはDenial-of-Service(DoS)攻撃に対して脆弱で、スペルエラーや非意味的なプロンプトが[EOS]トークンを生成することなく、無限のアウトプットをトリガーする。 本研究では, LLM に対する毒素を用いた DoS 攻撃について提案し, 1 つの毒素を注入することで, 出力長の限界を破ることができることを示した。
  論文  参考訳（メタデータ） (2024-10-14T17:39:31Z)
• Aligning LLMs to Be Robust Against Prompt Injection [55.07562650579068]
  インジェクション攻撃に対してLCMをより堅牢にするための強力なツールとしてアライメントが有効であることを示す。 私たちのメソッド -- SecAlign -- は、最初に、プロンプトインジェクション攻撃をシミュレートしてアライメントデータセットを構築します。 実験の結果,SecAlign は LLM を大幅に強化し,モデルの実用性に悪影響を及ぼすことが示された。
  論文  参考訳（メタデータ） (2024-10-07T19:34:35Z)
• ShortcutsBench: A Large-Scale Real-world Benchmark for API-based Agents [7.166156709980112]
  我々は、APIベースのエージェントの包括的な評価のための大規模なベンチマークであるtextscShortcutsBenchを紹介する。 textscShortcutsBenchには、Apple Inc.のオペレーティングシステムから多くの真のAPIが含まれている。 評価の結果,APIの選択やパラメータの充足,システムやユーザからの必要な情報要求など,複雑なクエリを扱う上での重大な制限が明らかになった。
  論文  参考訳（メタデータ） (2024-06-28T08:45:02Z)
• Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• A Solution-based LLM API-using Methodology for Academic Information Seeking [49.096714812902576]
  SoAyは学術情報検索のためのソリューションベースのLLM API利用方法論である。 ソリューションが事前に構築されたAPI呼び出しシーケンスである場合、推論メソッドとしてソリューションを備えたコードを使用する。 その結果、最先端のLLM APIベースのベースラインと比較して34.58-75.99%のパフォーマンス改善が見られた。
  論文  参考訳（メタデータ） (2024-05-24T02:44:14Z)
• LLM+Reasoning+Planning for supporting incomplete user queries in presence of APIs [0.09374652839580183]
  実際には、自然言語のタスク要求(ユーザクエリ)は不完全であることが多い。 論理的推論と古典的AI計画とLLMを併用して,ユーザのクエリを正確に応答する。 提案手法は,完全かつ不完全な単一目標とマルチゴールクエリを含むデータセットにおいて,95%以上の成功率を達成する。
  論文  参考訳（メタデータ） (2024-05-21T01:16:34Z)
• Logits of API-Protected LLMs Leak Proprietary Information [46.014638838911566]
  大きな言語モデル(LLM)プロバイダは、制限されたAPIへのパブリックアクセスを制限することで、プロプライエタリなモデルのアーキテクチャの詳細とパラメータを隠蔽することが多い。 比較的少数のAPIクエリから,APIで保護されたLLMに関する驚くほど多くの非公開情報を学習することが可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-14T16:27:49Z)
• Make Them Spill the Beans! Coercive Knowledge Extraction from (Production) LLMs [31.80386572346993]
  LLMが有害な要求を拒絶しても、有害な応答が出力ロジットの奥深くに隠されることがよくあります。 このアプローチは、脱獄方法と異なり、有効性は62%に対して92%、高速性は10～20倍である。 本研究は, コーディングタスクに特化して設計されたモデルから, 有毒な知識を抽出できることを示唆する。
  論文  参考訳（メタデータ） (2023-12-08T01:41:36Z)
• Universal and Transferable Adversarial Attacks on Aligned Language Models [118.41733208825278]
  本稿では,アライメント言語モデルに反抗的な振る舞いを生じさせる,シンプルで効果的な攻撃手法を提案する。 驚いたことに、我々のアプローチによって生じる敵のプロンプトは、かなり伝達可能である。
  論文  参考訳（メタデータ） (2023-07-27T17:49:12Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。