論文の概要: Do Defenses Against LLM Extraction Work Across Attacks? A Lifecycle Benchmark of Black-Box Model Extraction

• arxiv url: http://arxiv.org/abs/2610.00839v1
• Date: Wed, 30 Sep 2026 23:51:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.810161
• Title: Do Defenses Against LLM Extraction Work Across Attacks? A Lifecycle Benchmark of Black-Box Model Extraction
• Title（参考訳）: LLM抽出に対する防御は攻撃全体にわたって働くか?-ブラックボックスモデル抽出のライフサイクルベンチマーク
• Abstract要約: 6つの抽出攻撃、10つの防御攻撃、2つの適応攻撃を含む統一されたベンチマークを導入する。 ベンチマークは、モデル構成、クエリデータ、予算、各比較内でのホールドアウト評価条件を制御する。 我々は,サロゲート能力,被害者に対する忠実度,Rep-4を用いた出力品質,クエリ予算感度を測定した。
• 参考スコア（独自算出の注目度）: 14.22426661079991
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) deployed through text-only APIs face model extraction risks, as adversaries can collect their responses to train surrogates that reproduce their capabilities. While prior work has developed diverse attacks and defenses, evaluations remain fragmented across access assumptions, model configurations, query budgets, and security objectives, limiting comparability across methods. To address this gap, we introduce a unified benchmark covering six extraction attacks, ten defenses, and two adaptive attacks that paraphrase or back-translate protected responses before surrogate training. The benchmark controls model configurations, query data, budgets, and held-out evaluation conditions within each comparison while preserving attack-specific querying and training procedures. We measure surrogate capability, fidelity to the victim, output quality using Rep-4, and query-budget sensitivity; defenses use their own security metrics paired with surrogate performance. For the adaptive attacks, we jointly measure provenance-detector scores and the capability and fidelity of surrogates trained on rewritten responses. The benchmark thus provides a reproducible basis for comparing extraction methods and their interactions with defenses under text-only access. Code and artifacts are available at https://github.com/sliu11-byte/MEA-Bench.
• Abstract（参考訳）: テキストのみのAPIを通じてデプロイされる大規模言語モデル(LLM)は、敵が自身の能力を再現するサロゲートをトレーニングするために応答を収集できるため、モデル抽出のリスクに直面している。 以前の作業では多様なアタックとディフェンスが開発されたが、評価はアクセス仮定、モデル構成、クエリ予算、セキュリティ目標にまたがって断片化され、メソッド間の互換性が制限されている。 このギャップに対処するために,6つの抽出攻撃,10個の防御攻撃,および2つの適応攻撃を含む統一されたベンチマークを導入する。 ベンチマークは、モデル構成、クエリデータ、予算、各比較内でのホールドアウト評価条件を制御し、攻撃固有のクエリとトレーニング手順を保存する。 我々は,サロゲート能力,被害者への忠実度,Rep-4を用いた出力品質,およびクエリ予算感度を測定し,防衛側はサロゲート性能と組み合わせたセキュリティ指標を使用する。 適応攻撃では, 証明・検出器のスコアと, 書き直し応答を訓練したサロゲートの能力と忠実度を共同で測定する。 このベンチマークは、テキストのみのアクセス下で、抽出方法とそれらの相互作用を防衛と比較するための再現可能な基盤を提供する。 コードとアーティファクトはhttps://github.com/sliu11-byte/MEA-Bench.comで入手できる。

関連論文リスト

• Defending against Adaptive Prompt Injection Attacks via Reasoning-enabled Task Alignment [25.752599132396437]
  間接的なプロンプトインジェクションは、エージェントがタスク実行中に検索するサードパーティデータに悪意のある命令を埋め込むことによって、LLMベースのエージェントをハイジャックする。 既存のディフェンスでは、静的なベンチマークでほぼゼロの攻撃成功率を報告しているが、最近のアダプティブ評価では、攻撃者がデプロイされたディフェンスに対して最適化を許せば、これらの結果は崩壊する。 本稿では,攻撃者が制御するデータではなく,ユーザタスクに対する防衛判断を基礎としたトレーニングベースのRETAを提案する。
  論文  参考訳（メタデータ） (2026-06-13T19:15:44Z)
• Black-box, Adaptive, Efficient, Transferable, Harmful, Applicable... Attacks Are All You Need to Break LLMs [47.53613000473204]
  欠陥のある攻撃設計は、ロバスト性の推定を増大させ、デプロイメントのリスク評価と防御比較を信頼できないものにすることができる。 Indirect Harm Optimization (IHO) は、有害判定に対する反復的選好最適化によって訓練された、マスク付き拡散言語モデルアタッカーである。 以上の結果から,IHOは従来,信頼性を向上した標準化されたジェイルブレイク評価への実践的な一歩と位置づけた。
  論文  参考訳（メタデータ） (2026-06-02T13:39:15Z)
• Dashed Line Defense: Plug-And-Play Defense Against Adaptive Score-Based Query Attacks [3.206339985805037]
  ダッシュラインディフェンス(Dashed Line Defense, DLD)は、適応的なクエリ戦略に対処するために設計された、プラグアンドプレイのポストプロセッシング手法である。 DLDは、観測された損失がどのように真の敵の強さを反映しているかの曖昧さを導入することで、攻撃者がクエリを確実に分析し、適応することを防ぐ。 我々は,DLDの防御能力を理論的に保証し,ImageNetの実験を通じてその有効性を検証する。
  論文  参考訳（メタデータ） (2026-02-09T14:02:32Z)
• ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
  本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。 ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
  論文  参考訳（メタデータ） (2026-01-15T08:23:38Z)
• Benchmarking Misuse Mitigation Against Covert Adversaries [80.74502950627736]
  既存の言語モデルの安全性評価は、オーバースト攻撃と低レベルのタスクに重点を置いている。 我々は、隠蔽攻撃と対応する防御の評価を自動化するデータ生成パイプラインである、ステートフルディフェンスのためのベンチマーク(BSD)を開発した。 評価の結果,分解攻撃は有効な誤用防止剤であり,その対策としてステートフルディフェンスを強調した。
  論文  参考訳（メタデータ） (2025-06-06T17:33:33Z)
• MISLEADER: Defending against Model Extraction with Ensembles of Distilled Models [56.09354775405601]
  モデル抽出攻撃は、クエリアクセスを通じてブラックボックスモデルの機能を複製することを目的としている。 既存のディフェンスでは、アタッカークエリにはオフ・オブ・ディストリビューション(OOD)サンプルがあることを前提としており、不審な入力を検出し破壊することができる。 OOD仮定に依存しない新しい防衛戦略であるMISLEADERを提案する。
  論文  参考訳（メタデータ） (2025-06-03T01:37:09Z)
• Raccoon: Prompt Extraction Benchmark of LLM-Integrated Applications [8.51254190797079]
  本稿では,抽出攻撃に対するモデルの感受性を包括的に評価するRacoonベンチマークを提案する。 本手法は,無防備シナリオと防御シナリオの両方でモデルを評価する。 本研究は,防衛の欠如を契機に,盗難を助長するための普遍的感受性を強調し,保護時に顕著なレジリエンスを示すOpenAIモデルを示した。
  論文  参考訳（メタデータ） (2024-06-10T18:57:22Z)
• Avoid Adversarial Adaption in Federated Learning by Multi-Metric Investigations [55.2480439325792]
  Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。 FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。 我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。 MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
  論文  参考訳（メタデータ） (2023-06-06T11:44:42Z)
• Measuring Equality in Machine Learning Security Defenses: A Case Study in Speech Recognition [56.69875958980474]
  この研究は、学習したシステムを守るためのアプローチと、異なるサブ人口間でのセキュリティ防衛がパフォーマンス上の不平等をもたらす方法を検討する。 提案された多くの手法は、虚偽の拒絶やロバストネストレーニングの不平等といった直接的な害を引き起こす可能性がある。 本稿では, ランダム化スムースメントとニューラルリジェクションの2つの防御法の比較を行い, マイノリティ集団のサンプリング機構により, ランダム化スムースメントがより公平であることを見出した。
  論文  参考訳（メタデータ） (2023-02-17T16:19:26Z)
• A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
  我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。 また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
  論文  参考訳（メタデータ） (2022-06-17T02:29:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。