論文の概要: Adversaries Can Misuse Combinations of Safe Models

• arxiv url: http://arxiv.org/abs/2406.14595v1
• Date: Thu, 20 Jun 2024 17:43:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 18:37:49.053305
• Title: Adversaries Can Misuse Combinations of Safe Models
• Title（参考訳）: 広告主は安全なモデルの組み合わせを誤認できる
• Authors: Erik Jones, Anca Dragan, Jacob Steinhardt,
• Abstract要約: 開発者は、AIシステムが敵によって悪用されるかどうかを、リリース前に評価しようとする。 各モデルが安全である場合でも、敵はモデルの組み合わせを誤用できることを示す。 私たちの研究は、完全に整合したフロンティアシステムでさえ、悪意のある出力を生成することなく、誤用を可能にすることを示唆しています。
• 参考スコア（独自算出の注目度）: 36.863895028598336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Developers try to evaluate whether an AI system can be misused by adversaries before releasing it; for example, they might test whether a model enables cyberoffense, user manipulation, or bioterrorism. In this work, we show that individually testing models for misuse is inadequate; adversaries can misuse combinations of models even when each individual model is safe. The adversary accomplishes this by first decomposing tasks into subtasks, then solving each subtask with the best-suited model. For example, an adversary might solve challenging-but-benign subtasks with an aligned frontier model, and easy-but-malicious subtasks with a weaker misaligned model. We study two decomposition methods: manual decomposition where a human identifies a natural decomposition of a task, and automated decomposition where a weak model generates benign tasks for a frontier model to solve, then uses the solutions in-context to solve the original task. Using these decompositions, we empirically show that adversaries can create vulnerable code, explicit images, python scripts for hacking, and manipulative tweets at much higher rates with combinations of models than either individual model. Our work suggests that even perfectly-aligned frontier systems can enable misuse without ever producing malicious outputs, and that red-teaming efforts should extend beyond single models in isolation.
• Abstract（参考訳）: 開発者は、AIシステムがリリース前に敵によって悪用されるかどうかを評価する。例えば、モデルがサイバー攻撃、ユーザ操作、バイオテロリズムを可能にするかどうかをテストする。 本研究では,各モデルが安全である場合でも,各モデルの組み合わせを誤用することが可能であり,誤用に対する個別のテストが不十分であることを示す。 敵はまずタスクをサブタスクに分解し、次に最適なモデルで各サブタスクを解くことでこれを達成している。 例えば、敵は、整列フロンティアモデルで挑戦的だが良性なサブタスクを解き、より弱い不整列モデルで容易に、しかしまともなサブタスクを解くことができる。 そこで本研究では,ヒトがタスクの自然な分解を識別する手動分解法と,フロンティアモデルのための良質なタスクを生成する手動分解法について検討した。 これらの分解を用いて、敵が脆弱なコード、明示的なイメージ、ハッキングのためのピソンスクリプト、および操作的なツイートを、どちらのモデルよりもはるかに高いレートで作成できることを実証的に示す。 私たちの研究は、完全に整合したフロンティアシステムでさえ、悪意のあるアウトプットを生成せずに誤用を可能にすることを示唆しています。

関連論文リスト

• Model for Peanuts: Hijacking ML Models without Training Access is Possible [5.005171792255858]
  モデルハイジャック(英: Model hijacking)とは、被害者のモデルをハイジャックして元のモデルとは異なるタスクを実行する攻撃である。 本研究では、未知の入力サンプルを分類するために、SnatchMLと呼ばれる推論時にモデルハイジャックを行うための簡単なアプローチを提案する。 最初にメタ学習と呼ぶ新しいアプローチを提案し、モデルが元のデータセットをトレーニングしながら潜在的に悪意のあるタスクを解放するのに役立つように設計した。
  論文  参考訳（メタデータ） (2024-06-03T18:04:37Z)
• Are You Stealing My Model? Sample Correlation for Fingerprinting Deep Neural Networks [86.55317144826179]
  従来の方法は、常にモデル指紋として転送可能な敵の例を利用する。 本稿では,SAmple correlation (SAC) に基づく新しいモデル盗難検出手法を提案する。 SACは、敵の訓練や移動学習を含む様々なモデル盗難攻撃をうまく防いでいる。
  論文  参考訳（メタデータ） (2022-10-21T02:07:50Z)
• Composing Ensembles of Pre-trained Models via Iterative Consensus [95.10641301155232]
  本稿では,異なる事前学習モデルのアンサンブルを構成するための統一的なフレームワークを提案する。 事前学習したモデルを「ジェネレータ」あるいは「スコーラ」として使用し、クローズドループ反復コンセンサス最適化により構成する。 スコアラーのアンサンブルによって達成されたコンセンサスは、シングルスコアラーのフィードバックよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-20T18:46:31Z)
• Careful What You Wish For: on the Extraction of Adversarially Trained Models [2.707154152696381]
  最近の機械学習(ML)モデルに対する攻撃は、いくつかのセキュリティとプライバシの脅威を引き起こす。 本稿では,敵の学習したモデルに対する抽出攻撃を評価する枠組みを提案する。 本研究では, 自然学習環境下で得られたモデルよりも, 敵の訓練を受けたモデルの方が抽出攻撃に対して脆弱であることを示す。
  論文  参考訳（メタデータ） (2022-07-21T16:04:37Z)
• MEGA: Model Stealing via Collaborative Generator-Substitute Networks [4.065949099860426]
  近年のデータフリーモデルステイティングメソッドは,実際のクエリの例を使わずに,ターゲットモデルの知識を抽出するために有効であることが示されている。 本稿では,データフリーモデルステーリングフレームワーク(MEGA)を提案する。 以上の結果から,我々の訓練した代替モデルの精度と敵攻撃成功率は,最先端のデータフリーブラックボックス攻撃よりも最大で33%,40%高い値となる可能性が示唆された。
  論文  参考訳（メタデータ） (2022-01-31T09:34:28Z)
• Training Meta-Surrogate Model for Transferable Adversarial Attack [98.13178217557193]
  クエリーを許可しない場合、ブラックボックスモデルに対する逆攻撃を考える。 この設定では、多くの手法が代理モデルを直接攻撃し、得られた敵の例をターゲットモデルを騙すために転送する。 メタサロゲートモデル(Meta-Surrogate Model:MSM)は,このモデルに対する攻撃が,他のモデルに容易に転送できることを示す。
  論文  参考訳（メタデータ） (2021-09-05T03:27:46Z)
• BODAME: Bilevel Optimization for Defense Against Model Extraction [10.877450596327407]
  私たちは、サービスプロバイダのアタッカーを最も推測する前提の下でモデル抽出を防ぐために、逆の設定を検討します。 真のモデルの予測を用いてサロゲートモデルを定式化する。 勾配降下に基づくアルゴリズムを用いて学習されるより複雑なモデルに対して,トラクタブル変換とアルゴリズムを与える。
  論文  参考訳（メタデータ） (2021-03-11T17:08:31Z)
• Differentiable Language Model Adversarial Attacks on Categorical Sequence Classifiers [0.0]
  敵対的攻撃パラダイムは、ディープラーニングモデルの脆弱性の様々なシナリオを探索する。 本研究では,言語モデルの微調整を,敵対的攻撃のジェネレータとして利用する。 我々のモデルは、銀行取引、電子健康記録、NLPデータセットに関する多様なデータセットに対して機能する。
  論文  参考訳（メタデータ） (2020-06-19T11:25:36Z)
• DaST: Data-free Substitute Training for Adversarial Attacks [55.76371274622313]
  本研究では,敵対的ブラックボックス攻撃の代替モデルを得るためのデータフリー代替訓練法(DaST)を提案する。 これを実現するため、DaSTは特別に設計されたGANを用いて代替モデルを訓練する。 実験では、代替モデルがベースラインモデルと比較して競争性能を発揮することを示した。
  論文  参考訳（メタデータ） (2020-03-28T04:28:13Z)
• Regularizers for Single-step Adversarial Training [49.65499307547198]
  本稿では,1ステップの対数学習手法を用いて,ロバストモデル学習を支援する3種類の正則化器を提案する。 正規化器は、ロバストモデルと擬ロバストモデルとを区別する特性を利用することにより、勾配マスキングの効果を緩和する。
  論文  参考訳（メタデータ） (2020-02-03T09:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。