論文の概要: LLM-Attack Suite: A Unified Red-Team Framework for Privacy Evaluation of Split and Distributed LLM Systems

• arxiv url: http://arxiv.org/abs/2610.22722v2
• Date: Mon, 19 Oct 2026 23:03:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.219712
• Title: LLM-Attack Suite: A Unified Red-Team Framework for Privacy Evaluation of Split and Distributed LLM Systems
• Title（参考訳）: LLM-Attack Suite:分散LLMシステムのプライバシ評価のための統一型レッドチームフレームワーク
• Abstract要約: LLM-Attack Suiteは攻撃者の選択を記録し、研究者が評価を確認し、比較し、拡張できるフレームワークである。 各プライバシクレームは、攻撃者、データセット、スコアリングルールを記述し、そのコントロールを報告し、未テストの攻撃を識別する必要がある。 ここでは、アタッカーアクセスの変化に対する評価がどのように反応するかをテストする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Split language models keep input text on a client but send intermediate representations to a server. Attacks can reconstruct text from these messages. Comparing privacy evaluations is difficult when attackers see different messages, know different model weights or use different datasets and recovery measures. We present LLM-Attack Suite, a framework that records these choices and lets researchers check, compare and extend an evaluation. Compatible attacks reuse recorded messages, and their predictions are saved for independent scoring. The scoring rule requires a linked undefended reference before a defence can pass. Reports also identify attacks that remain untested. In a controlled GPT-2 experiment, adding gradients returned during training increased token recovery from 94.20% to 97.38% and exact-document recovery from 13.71% to 37.77%. The 95% interval for the token gain lay above the two-percentage-point threshold fixed before testing. This experiment is shared with a companion study; here it tests how the evaluation responds to a change in attacker access. Further studies measure how corpus choice and compression defences affect recovery, compare an adapted published attack with its reference implementation, and test the measurement code. The framework reports implementation checks separately from measured attack effectiveness. Each privacy claim should state the attacker, dataset and scoring rule, report its controls and identify untested attacks.
• Abstract（参考訳）: スプリット言語モデルは入力テキストをクライアントに保持するが、中間表現をサーバに送信する。 攻撃はこれらのメッセージからテキストを再構築することができる。 攻撃者が異なるメッセージを見たり、異なるモデルの重みを知ったり、異なるデータセットやリカバリ手段を使ったりした場合、プライバシ評価を比較することは難しい。 LLM-Attack Suiteは、これらの選択を記録し、研究者が評価を確認し、比較し、拡張できるフレームワークである。 互換性のある攻撃は記録されたメッセージを再利用し、それらの予測は独立したスコアリングのために保存される。 スコアリングルールは、防御が通過する前にリンクされた無防備な参照を必要とする。 また、未確認の攻撃も報告されている。 制御されたGPT-2実験では、トレーニング中に帰還した勾配が94.20%から97.38%に増加し、正確な文書の回収は13.71%から37.77%に増加した。 トークン利得の95%間隔は、テスト前に固定された2パーセントのポイント閾値より上であった。 ここでは、アタッカーアクセスの変化に対する評価がどのように反応するかをテストする。 さらに、コーパスの選択と圧縮防御が回復にどう影響するかを計測し、適応された公開攻撃と参照実装を比較し、測定コードをテストする。 このフレームワークは、測定された攻撃の有効性から、実装チェックを別々に報告する。 各プライバシクレームは、アタッカー、データセット、スコアリングルールを記述し、そのコントロールを報告し、未テストのアタックを特定すべきである。

関連論文リスト

• Do Defenses Against LLM Extraction Work Across Attacks? A Lifecycle Benchmark of Black-Box Model Extraction [14.22426661079991]
  6つの抽出攻撃、10つの防御攻撃、2つの適応攻撃を含む統一されたベンチマークを導入する。 ベンチマークは、モデル構成、クエリデータ、予算、各比較内でのホールドアウト評価条件を制御する。 我々は,サロゲート能力,被害者に対する忠実度,Rep-4を用いた出力品質,クエリ予算感度を測定した。
  論文  参考訳（メタデータ） (2026-09-30T23:51:54Z)
• Turning Bias into Bugs: Bandit-Guided Style Manipulation Attacks on LLM Judges [65.92623263645139]
  LLM審査員を誤解させるためにセマンティクスを保存する編集を学習するブラックボックスの敵対的フレームワークであるBITEを紹介する。 BITEは65%を超える攻撃成功率を獲得し、9ポイントのスケールでスコアを1-2ポイント上げる。 LLM-as-a-judgeパラダイムの根本的な弱点を明らかにし,ロバストでアタック・アウェアな評価を動機づけた。
  論文  参考訳（メタデータ） (2026-05-24T05:24:09Z)
• When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift [0.0]
  有害なリクエスト、ジェイルブレイク、間接的なプロンプトインジェクション、抽出攻撃にまたがる18のデータセットのベンチマークを用いて、包括的な分析を行う。 我々は,真のアウト・オブ・ディストリビューションの一般化を評価するために,LODO(Leave-One-Dataset-Out)評価を提案する。
  論文  参考訳（メタデータ） (2026-02-15T14:21:43Z)
• SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
  SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。 ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。 安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
  論文  参考訳（メタデータ） (2026-01-19T23:37:10Z)
• A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
  本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。 我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。 本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-10-03T07:01:45Z)
• Robust Federated Learning Mitigates Client-side Training Data Distribution Inference Attacks [48.70867241987739]
  InferGuardは、クライアント側のトレーニングデータ分散推論攻撃に対する防御を目的とした、新しいビザンチン・ロバスト集約ルールである。 実験の結果,我々の防衛機構はクライアント側のトレーニングデータ分布推定攻撃に対する防御に極めて有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-05T17:41:35Z)
• Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
  入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。 また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。 我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
  論文  参考訳（メタデータ） (2023-03-14T16:11:47Z)
• A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
  我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。 また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
  論文  参考訳（メタデータ） (2022-06-17T02:29:23Z)
• BaFFLe: Backdoor detection via Feedback-based Federated Learning [3.6895394817068357]
  フィードバックに基づくフェデレーション学習(BAFFLE)によるバックドア検出を提案する。 BAFFLEは,最先端のバックドア攻撃を100%,偽陽性率5%以下で確実に検出できることを示す。
  論文  参考訳（メタデータ） (2020-11-04T07:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。