論文の概要: Mondrian: Prompt Abstraction Attack Against Large Language Models for Cheaper API Pricing

• arxiv url: http://arxiv.org/abs/2308.03558v1
• Date: Mon, 7 Aug 2023 13:10:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 13:43:25.756922
• Title: Mondrian: Prompt Abstraction Attack Against Large Language Models for Cheaper API Pricing
• Title（参考訳）: mondrian: より安価なapi価格で大規模言語モデルに対する迅速な抽象化攻撃
• Authors: Wai Man Si, Michael Backes, Yang Zhang
• Abstract要約: 文を抽象化するシンプルで簡単な手法である Mondrian を提案し,LLM API の使用コストを削減できる。 その結果,Mondrianはユーザクエリのトークン長を13%から23%に短縮することに成功した。 その結果、迅速な抽象化攻撃により、API開発とデプロイメントのコストを負担することなく、敵が利益を得ることが可能になる。
• 参考スコア（独自算出の注目度）: 19.76564349397695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Machine Learning as a Service (MLaaS) market is rapidly expanding and becoming more mature. For example, OpenAI's ChatGPT is an advanced large language model (LLM) that generates responses for various queries with associated fees. Although these models can deliver satisfactory performance, they are far from perfect. Researchers have long studied the vulnerabilities and limitations of LLMs, such as adversarial attacks and model toxicity. Inevitably, commercial ML models are also not exempt from such issues, which can be problematic as MLaaS continues to grow. In this paper, we discover a new attack strategy against LLM APIs, namely the prompt abstraction attack. Specifically, we propose Mondrian, a simple and straightforward method that abstracts sentences, which can lower the cost of using LLM APIs. In this approach, the adversary first creates a pseudo API (with a lower established price) to serve as the proxy of the target API (with a higher established price). Next, the pseudo API leverages Mondrian to modify the user query, obtain the abstracted response from the target API, and forward it back to the end user. Our results show that Mondrian successfully reduces user queries' token length ranging from 13% to 23% across various tasks, including text classification, generation, and question answering. Meanwhile, these abstracted queries do not significantly affect the utility of task-specific and general language models like ChatGPT. Mondrian also reduces instruction prompts' token length by at least 11% without compromising output quality. As a result, the prompt abstraction attack enables the adversary to profit without bearing the cost of API development and deployment.
• Abstract（参考訳）: マシンラーニング・アズ・ア・サービス(MLaaS)市場は急速に拡大し、成熟しています。 例えば、OpenAIのChatGPTは高度な大規模言語モデル(LLM)であり、関連する料金で様々なクエリに対する応答を生成する。 これらのモデルは十分なパフォーマンスを提供できるが、完璧には程遠い。 研究者は長年、敵対的攻撃やモデル毒性などのLSMの脆弱性と限界を研究してきた。 必然的に、商用のMLモデルはそのような問題から除外されることはなく、MLaaSが成長し続けるにつれて問題となる可能性がある。 本稿では,LLM APIに対する新たな攻撃戦略,即時抽象化攻撃について述べる。 具体的には、文を抽象化する単純で簡単なメソッドであるmondrianを提案し、llm apiの使用コストを下げる。 このアプローチでは、敵はまず、ターゲットapiのプロキシ(確立価格の高い)として機能する擬似api(確立価格の低い)を作成する。 次に、擬似APIはMondrianを利用してユーザクエリを変更し、ターゲットAPIから抽象化されたレスポンスを取得し、エンドユーザに転送する。 その結果,テキスト分類,生成,質問応答など,さまざまなタスクにおいて,ユーザクエリのトークン長を13%から23%まで短縮することに成功した。 一方、これらの抽象クエリは、ChatGPTのようなタスク固有および一般的な言語モデルの実用性にはあまり影響を与えない。 Mondrianはまた、命令プロンプトのトークン長を、出力品質を損なうことなく、少なくとも11%削減する。 その結果、迅速な抽象化攻撃は、api開発とデプロイメントのコストを伴わずに、敵が利益を得ることができる。

関連論文リスト

• An Engorgio Prompt Makes Large Language Model Babble on [25.148096060828397]
  自動回帰型大規模言語モデル (LLM) は多くの実世界のタスクにおいて顕著な性能を発揮している。 本稿では,悪質なユーザがEngorgioのプロンプトを作らなければならないような,コスト・アタックを推論する脆弱性について検討する。 本研究では,新たな手法であるEngorgioを設計し,敵のEngorgioプロンプトを効率的に生成し,LLMのサービス可用性に影響を与える。
  論文  参考訳（メタデータ） (2024-12-27T01:00:23Z)
• ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration [70.26807758443675]
  ExploraCoderはトレーニング不要のフレームワークで、大規模な言語モデルにコードソリューションで見えないAPIを呼び出す権限を与える。 ExploraCoderは,事前のAPI知識を欠いたモデルのパフォーマンスを著しく向上させ,NAGアプローチの11.24%,pass@10の事前トレーニングメソッドの14.07%を絶対的に向上させることを示す。
  論文  参考訳（メタデータ） (2024-12-06T19:00:15Z)
• Denial-of-Service Poisoning Attacks against Large Language Models [64.77355353440691]
  LLMはDenial-of-Service(DoS)攻撃に対して脆弱で、スペルエラーや非意味的なプロンプトが[EOS]トークンを生成することなく、無限のアウトプットをトリガーする。 本研究では, LLM に対する毒素を用いた DoS 攻撃について提案し, 1 つの毒素を注入することで, 出力長の限界を破ることができることを示した。
  論文  参考訳（メタデータ） (2024-10-14T17:39:31Z)
• Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• A Solution-based LLM API-using Methodology for Academic Information Seeking [49.096714812902576]
  SoAyは学術情報検索のためのソリューションベースのLLM API利用方法論である。 ソリューションが事前に構築されたAPI呼び出しシーケンスである場合、推論メソッドとしてソリューションを備えたコードを使用する。 その結果、最先端のLLM APIベースのベースラインと比較して34.58-75.99%のパフォーマンス改善が見られた。
  論文  参考訳（メタデータ） (2024-05-24T02:44:14Z)
• LLM+Reasoning+Planning for Supporting Incomplete User Queries in Presence of APIs [0.09374652839580183]
  実際には、自然言語のタスク要求(ユーザクエリ)は不完全であることが多い。 大きな言語モデル(LLM)は自然言語処理(NLP)タスクに優れていますが、欠落した情報やAPIのオーケストレーションに苦慮することが多いのです。
  論文  参考訳（メタデータ） (2024-05-21T01:16:34Z)
• Logits of API-Protected LLMs Leak Proprietary Information [46.014638838911566]
  大きな言語モデル(LLM)プロバイダは、制限されたAPIへのパブリックアクセスを制限することで、プロプライエタリなモデルのアーキテクチャの詳細とパラメータを隠蔽することが多い。 比較的少数のAPIクエリから,APIで保護されたLLMに関する驚くほど多くの非公開情報を学習することが可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-14T16:27:49Z)
• Universal and Transferable Adversarial Attacks on Aligned Language Models [118.41733208825278]
  本稿では,アライメント言語モデルに反抗的な振る舞いを生じさせる,シンプルで効果的な攻撃手法を提案する。 驚いたことに、我々のアプローチによって生じる敵のプロンプトは、かなり伝達可能である。
  論文  参考訳（メタデータ） (2023-07-27T17:49:12Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。