論文の概要: DiveR-CT: Diversity-enhanced Red Teaming with Relaxing Constraints

• arxiv url: http://arxiv.org/abs/2405.19026v1
• Date: Wed, 29 May 2024 12:12:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 17:20:29.668431
• Title: DiveR-CT: Diversity-enhanced Red Teaming with Relaxing Constraints
• Title（参考訳）: DiveR-CT: 制約を緩和したダイバーシティ強化赤チーム
• Authors: Andrew Zhao, Quentin Xu, Matthieu Lin, Shenzhi Wang, Yong-jin Liu, Zilong Zheng, Gao Huang,
• Abstract要約: DiveR-CTを導入し、目的と意味の報酬に対する従来の制約を緩和し、多様性を高める政策により大きな自由を与える。 実験では,1)様々な攻撃成功率の多様な多様性指標において優れたデータを生成すること,2)収集したデータに基づく安全性チューニングによる青チームモデルのレジリエンスの向上,3)信頼性と制御可能な攻撃成功率に対する目標重みの動的制御,3)報酬過大化に対する感受性の低下など,ベースラインよりも優れたDiveR-CTの顕著な優位性を実証した。
• 参考スコア（独自算出の注目度）: 68.82294911302579
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large language models (LLMs) have made them indispensable, raising significant concerns over managing their safety. Automated red teaming offers a promising alternative to the labor-intensive and error-prone manual probing for vulnerabilities, providing more consistent and scalable safety evaluations. However, existing approaches often compromise diversity by focusing on maximizing attack success rate. Additionally, methods that decrease the cosine similarity from historical embeddings with semantic diversity rewards lead to novelty stagnation as history grows. To address these issues, we introduce DiveR-CT, which relaxes conventional constraints on the objective and semantic reward, granting greater freedom for the policy to enhance diversity. Our experiments demonstrate DiveR-CT's marked superiority over baselines by 1) generating data that perform better in various diversity metrics across different attack success rate levels, 2) better-enhancing resiliency in blue team models through safety tuning based on collected data, 3) allowing dynamic control of objective weights for reliable and controllable attack success rates, and 4) reducing susceptibility to reward overoptimization. Project details and code can be found at https://andrewzh112.github.io/#diverct.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、それらが不可欠であり、安全性管理に関する重大な懸念を提起している。 自動化されたレッドチームリングは、労働集約的でエラーを起こしやすい手動による脆弱性の調査に代わる有望な代替手段であり、より一貫性があり、スケーラブルな安全性評価を提供する。 しかし、既存のアプローチは、攻撃の成功率の最大化に集中することで、多様性を損なうことが多い。 さらに、コサインの類似性を歴史的埋め込みから意味多様性の報酬に還元する手法は、歴史が成長するにつれて、新規性の停滞につながる。 これらの課題に対処するため,従来の客観的・意味的な報酬に対する制約を緩和し,多様性を高める政策の自由度を高めるDiveR-CTを導入する。 我々の実験は、DiveR-CTがベースラインよりも顕著に優れていることを示した。 1)異なる攻撃成功率の様々な多様性指標において、より良いデータを生成する。 2) 収集データに基づく安全チューニングによるブルーチームモデルのレジリエンス向上。 3)信頼性・制御可能な攻撃成功率に対する目標重量の動的制御を可能とし、 4)報酬過小評価に対する感受性の低下。 プロジェクトの詳細とコードはhttps://andrewzh112.github.io/#diverctで確認できる。

関連論文リスト

• Complexity-Aware Deep Symbolic Regression with Robust Risk-Seeking Policy Gradients [20.941908494137806]
  本稿では,データ駆動型数式発見の堅牢性と解釈可能性を高めるための,新しい記号回帰手法を提案する。 DSRは最先端の手法であるDSRの成功にもかかわらず、リカレントニューラルネットワーク上に構築されており、純粋にデータ適合性によってガイドされている。 学習性能を向上させるために,トランスフォーマーとブロードスファーストサーチを併用した。
  論文  参考訳（メタデータ） (2024-06-10T19:29:10Z)
• Ensemble Adversarial Defense via Integration of Multiple Dispersed Low Curvature Models [7.8245455684263545]
  本研究では,攻撃伝達性を低減し,アンサンブルの多様性を高めることを目的とする。 損失曲率を表す2階勾配を, 対向的強靭性の重要な要因として同定する。 本稿では,複数変数の低曲率ネットワークモデルをトレーニングするための新しい正規化器を提案する。
  論文  参考訳（メタデータ） (2024-03-25T03:44:36Z)
• Model Stealing Attack against Graph Classification with Authenticity, Uncertainty and Diversity [85.1927483219819]
  GNNは、クエリ許可を通じてターゲットモデルを複製するための悪行であるモデル盗難攻撃に対して脆弱である。 異なるシナリオに対応するために,3つのモデルステルス攻撃を導入する。
  論文  参考訳（メタデータ） (2023-12-18T05:42:31Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Semi-Supervised Deep Regression with Uncertainty Consistency and Variational Model Ensembling via Bayesian Neural Networks [31.67508478764597]
  我々は,半教師付き回帰,すなわち不確実連続変分モデル組立(UCVME)に対する新しいアプローチを提案する。 整合性損失は不確実性評価を著しく改善し,不整合回帰の下では,高品質な擬似ラベルをより重要視することができる。 実験の結果,本手法は様々なタスクにおける最先端の代替手段よりも優れており,フルラベルを用いた教師付き手法と競合する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-02-15T10:40:51Z)
• Making Substitute Models More Bayesian Can Enhance Transferability of Adversarial Examples [89.85593878754571]
  ディープニューラルネットワークにおける敵の例の転送可能性は多くのブラックボックス攻撃の欠如である。 我々は、望ましい転送可能性を達成するためにベイズモデルを攻撃することを提唱する。 我々の手法は近年の最先端を大きなマージンで上回る。
  論文  参考訳（メタデータ） (2023-02-10T07:08:13Z)
• Benchmarking Safe Deep Reinforcement Learning in Aquatic Navigation [78.17108227614928]
  本研究では,水文ナビゲーションに着目した安全強化学習のためのベンチマーク環境を提案する。 価値に基づく政策段階の深層強化学習(DRL)について考察する。 また,学習したモデルの振る舞いを所望の特性の集合上で検証する検証戦略を提案する。
  論文  参考訳（メタデータ） (2021-12-16T16:53:56Z)
• Virtual Data Augmentation: A Robust and General Framework for Fine-tuning Pre-trained Models [51.46732511844122]
  強力な事前訓練型言語モデル(PLM)は、小さな摂動や意図的な攻撃によって騙されることがある。 VDA(Virtual Data Augmentation)は,PLMを高度に微調整するための一般的なフレームワークである。 本手法は, PLMの堅牢性を向上し, 敵攻撃時の性能劣化を軽減する。
  論文  参考訳（メタデータ） (2021-09-13T09:15:28Z)
• DVERGE: Diversifying Vulnerabilities for Enhanced Robust Generation of Ensembles [20.46399318111058]
  敵攻撃は、小さな摂動でCNNモデルを誤解させる可能性があるため、同じデータセットでトレーニングされた異なるモデル間で効果的に転送することができる。 非破壊的特徴を蒸留することにより,各サブモデルの逆脆弱性を分離するDVERGEを提案する。 新たな多様性基準とトレーニング手順により、DVERGEは転送攻撃に対して高い堅牢性を達成することができる。
  論文  参考訳（メタデータ） (2020-09-30T14:57:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。