論文の概要: Combating Adversarial Attacks with Multi-Agent Debate
- arxiv url: http://arxiv.org/abs/2401.05998v1
- Date: Thu, 11 Jan 2024 15:57:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-12 13:41:59.604841
- Title: Combating Adversarial Attacks with Multi-Agent Debate
- Title(参考訳): マルチエージェント・ディベートによる敵攻撃
- Authors: Steffi Chern, Zhen Fan, Andy Liu
- Abstract要約: 我々は、現在の最先端言語モデル間のマルチエージェントの議論を実施し、レッドチームアタックに対するモデルの感受性を評価する。
マルチエージェントの議論は、ジェイルブレイクや能力の低いモデルが非ジェイルブレイクやより有能なモデルで議論せざるを得ない場合、モデルの毒性を低下させる可能性がある。
- 参考スコア(独自算出の注目度): 4.450536872346658
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While state-of-the-art language models have achieved impressive results, they
remain susceptible to inference-time adversarial attacks, such as adversarial
prompts generated by red teams arXiv:2209.07858. One approach proposed to
improve the general quality of language model generations is multi-agent
debate, where language models self-evaluate through discussion and feedback
arXiv:2305.14325. We implement multi-agent debate between current
state-of-the-art language models and evaluate models' susceptibility to red
team attacks in both single- and multi-agent settings. We find that multi-agent
debate can reduce model toxicity when jailbroken or less capable models are
forced to debate with non-jailbroken or more capable models. We also find
marginal improvements through the general usage of multi-agent interactions. We
further perform adversarial prompt content classification via embedding
clustering, and analyze the susceptibility of different models to different
types of attack topics.
- Abstract(参考訳): 最先端の言語モデルは印象的な成果を上げているが、赤チームが生成する敵のプロンプトなど、推論時の敵攻撃の影響を受けやすいままである。
言語モデル生成の一般的な品質を改善するための1つのアプローチは、言語モデルが議論とフィードバックを通じて自己評価を行うマルチエージェントの議論である。
我々は、現在の最先端言語モデル間のマルチエージェントの議論を実装し、シングルエージェントとマルチエージェントの両方でレッドチーム攻撃に対するモデルの感受性を評価する。
マルチエージェントの議論は、ジェイルブレイクまたはあまり有能でないモデルが非ジェイルブレイクまたはより有能なモデルで議論せざるを得ない場合、モデル毒性を減らすことができる。
また,マルチエージェントインタラクションの一般利用による限界改善も見出す。
さらに, 組込みクラスタリングにより, 敵対的プロンプトコンテンツ分類を行い, 異なる種類の攻撃トピックに対する異なるモデルの感受性を解析する。
関連論文リスト
- A Generative Adversarial Attack for Multilingual Text Classifiers [10.993289209465129]
そこで本稿では,多言語パラフレーズモデルに逆方向の目的を付与する手法を提案する。
トレーニングの目的は、テキストの品質と言語の一貫性を保証するために、事前訓練されたモデルのセットを含む。
2つの多言語データセットと5つの言語に対する実験的な検証により,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2024-01-16T10:14:27Z) - SA-Attack: Improving Adversarial Transferability of Vision-Language
Pre-training Models via Self-Augmentation [56.622250514119294]
ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。
本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
論文 参考訳(メタデータ) (2023-12-08T09:08:50Z) - On the Discussion of Large Language Models: Symmetry of Agents and
Interplay with Prompts [51.3324922038486]
本稿では,プロンプトの相互作用と議論機構の実証結果について報告する。
また、コンピュートとマージに基づくスケーラブルな議論機構も提案している。
論文 参考訳(メタデータ) (2023-11-13T04:56:48Z) - Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of
Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。
GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。
テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文 参考訳(メタデータ) (2021-11-04T12:59:55Z) - A Differentiable Language Model Adversarial Attack on Text Classifiers [10.658675415759697]
自然言語処理のための新しいブラックボックス文レベルアタックを提案する。
本手法は,事前学習した言語モデルを微調整して,逆例を生成する。
提案手法は, 計算量と人的評価の両方において, 多様なNLP問題において, 競合相手よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-07-23T14:43:13Z) - "What's in the box?!": Deflecting Adversarial Attacks by Randomly
Deploying Adversarially-Disjoint Models [71.91835408379602]
敵の例は長い間、機械学習モデルに対する真の脅威と考えられてきた。
我々は、従来のホワイトボックスやブラックボックスの脅威モデルを超えた、配置ベースの防衛パラダイムを提案する。
論文 参考訳(メタデータ) (2021-02-09T20:07:13Z) - Adversarial Evaluation of Multimodal Models under Realistic Gray Box
Assumption [8.97147332560535]
本研究は, 対人的脅威に対するマルチモーダル(画像+テキスト)モデルの脆弱性を, ユニモーダル(画像またはテキストのみ)モデルに関する以前の文献で論じられたものと同様に検証する。
モデル知識とアクセスに関する現実的な仮定を導入し、これらの仮定が、敵攻撃に関する現在の文献に共通する標準的な「ブラックボックス」/「ホワイトボックス」二分法とどのように異なるかについて議論する。
論文 参考訳(メタデータ) (2020-11-25T17:37:40Z) - On the Transferability of Adversarial Attacksagainst Neural Text
Classifier [121.6758865857686]
テキスト分類モデルの逆例の転送可能性について検討する。
本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。
これらの逆例からモデル診断に使用できる単語置換規則を導出する。
論文 参考訳(メタデータ) (2020-11-17T10:45:05Z) - Variational Autoencoders for Opponent Modeling in Multi-Agent Systems [9.405879323049659]
マルチエージェントシステムは、共有環境における複数のエージェントの相互作用から生じる複雑な振る舞いを示す。
本研究は,マルチエージェントシステムにおけるエージェントの制御に関心を持ち,ポリシーを定めているエージェントとのインタラクションをうまく学習する。
他のエージェント(反対者)の振る舞いをモデル化することは、システム内のエージェントの相互作用を理解するのに不可欠である。
論文 参考訳(メタデータ) (2020-01-29T13:38:59Z) - Multi-Agent Interactions Modeling with Correlated Policies [53.38338964628494]
本稿では,マルチエージェントインタラクションモデリング問題をマルチエージェント模倣学習フレームワークに実装する。
相関ポリシー(CoDAIL)を用いた分散型適応模倣学習アルゴリズムの開発
様々な実験により、CoDAILはデモレーターに近い複雑な相互作用をより良く再生できることが示されている。
論文 参考訳(メタデータ) (2020-01-04T17:31:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。