論文の概要: Red-Teaming for Generative AI: Silver Bullet or Security Theater?

• arxiv url: http://arxiv.org/abs/2401.15897v3
• Date: Tue, 27 Aug 2024 18:23:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 21:09:20.835712
• Title: Red-Teaming for Generative AI: Silver Bullet or Security Theater?
• Title（参考訳）: ジェネレーティブAIのためのレッドチーム:銀の弾丸かセキュリティシアターか?
• Authors: Michael Feffer, Anusha Sinha, Wesley Hanwen Deng, Zachary C. Lipton, Hoda Heidari,
• Abstract要約: 我々は、赤いチーム化は、GenAIの有害な軽減を特徴付ける上で価値のある大胆なアイデアであるが、業界はAIを保護するために、閉じたドアの後ろでレッドチームやその他の戦略を効果的に適用するかもしれないと論じている。 生成AIの評価のより堅牢なツールボックスに向けて、私たちは、私たちの推奨事項を、将来のAI赤チームプラクティスをガイドし、足場にすることを目的とした質問銀行に合成します。
• 参考スコア（独自算出の注目度）: 42.35800543892003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In response to rising concerns surrounding the safety, security, and trustworthiness of Generative AI (GenAI) models, practitioners and regulators alike have pointed to AI red-teaming as a key component of their strategies for identifying and mitigating these risks. However, despite AI red-teaming's central role in policy discussions and corporate messaging, significant questions remain about what precisely it means, what role it can play in regulation, and how it relates to conventional red-teaming practices as originally conceived in the field of cybersecurity. In this work, we identify recent cases of red-teaming activities in the AI industry and conduct an extensive survey of relevant research literature to characterize the scope, structure, and criteria for AI red-teaming practices. Our analysis reveals that prior methods and practices of AI red-teaming diverge along several axes, including the purpose of the activity (which is often vague), the artifact under evaluation, the setting in which the activity is conducted (e.g., actors, resources, and methods), and the resulting decisions it informs (e.g., reporting, disclosure, and mitigation). In light of our findings, we argue that while red-teaming may be a valuable big-tent idea for characterizing GenAI harm mitigations, and that industry may effectively apply red-teaming and other strategies behind closed doors to safeguard AI, gestures towards red-teaming (based on public definitions) as a panacea for every possible risk verge on security theater. To move toward a more robust toolbox of evaluations for generative AI, we synthesize our recommendations into a question bank meant to guide and scaffold future AI red-teaming practices.
• Abstract（参考訳）: ジェネレーティブAI(GenAI)モデルの安全性、セキュリティ、信頼性に関する懸念の高まりに対して、実践者や規制当局も、これらのリスクを特定し緩和するための戦略の重要な要素として、AIのリピートを挙げている。 しかし、政策議論や企業メッセージングにおけるAIのレッドチームの役割にもかかわらず、それが正確には何を意味するのか、規制においてどのような役割を果たすのか、また、サイバーセキュリティの分野で最初に考え出されたような従来のレッドチームの実践とどのように関係するのか、重要な疑問が残る。 本研究では,AI産業における赤チーム活動の最近の事例を特定し,関連する研究文献を広範囲に調査し,AI赤チーム実践のスコープ,構造,基準を特徴づける。 分析の結果,活動目的(曖昧な場合が多い),評価対象の成果物(アクター,リソース,メソッド),通知する意思決定(報告,開示,緩和など)など,AIの事前の手法と実践が複数の軸に沿って分散していることが判明した。 当社の調査結果を踏まえると、赤いチーム化はGenAIの害虫対策を特徴付ける上で価値のある大胆なアイデアであり、業界は、赤いチーム化やその他の戦略を、AIの安全を守るために効果的に適用し、赤いチーム化(パブリックな定義に基づく)へのジェスチャーを、セキュリティシアターのあらゆるリスク検証のためのパナセアとして適用することができる、と論じている。 生成AIの評価のより堅牢なツールボックスに向けて、私たちは、私たちの推奨事項を、将来のAI赤チームプラクティスをガイドし、足場にすることを目的とした質問銀行に合成します。

関連論文リスト

• Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
  生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。 新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。 レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。 この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-09-23T10:18:10Z)
• Do Responsible AI Artifacts Advance Stakeholder Goals? Four Key Barriers Perceived by Legal and Civil Stakeholders [59.17981603969404]
  責任あるAI(RAI)コミュニティは、透明性を促進し、AIシステムのガバナンスをサポートするために、多数のプロセスとアーティファクトを導入している。 我々は、責任あるAI活動に関する政策と擁護を通知する19の政府、法律、市民社会の利害関係者と半構造化されたインタビューを行う。 我々は、これらの信念を4つの障壁にまとめて、RAIアーティファクトが(必然的に)市民社会、政府、産業間での権力関係を再構成する方法を説明する。
  論文  参考訳（メタデータ） (2024-08-22T00:14:37Z)
• The Human Factor in AI Red Teaming: Perspectives from Social and Collaborative Computing [4.933252611303578]
  汎用AIの急速な進歩は、"レッドチーム"に大きな関心を喚起した レッドチームの選択方法、テストの実施方法におけるバイアスと盲点、レッドチームの心理的影響に関する質問。 将来の研究は、公正からメンタルヘルス、その他の潜在的な害のある分野まで幅広いトピックを探求することができる。
  論文  参考訳（メタデータ） (2024-07-10T16:02:13Z)
• Artificial Intelligence as the New Hacker: Developing Agents for Offensive Security [0.0]
  本稿では,人工知能(AI)の攻撃的サイバーセキュリティへの統合について検討する。 サイバー攻撃をシミュレートし実行するために設計された、自律的なAIエージェントであるReaperAIを開発している。 ReaperAIは、セキュリティ脆弱性を自律的に識別し、悪用し、分析する可能性を実証する。
  論文  参考訳（メタデータ） (2024-05-09T18:15:12Z)
• A Red Teaming Framework for Securing AI in Maritime Autonomous Systems [0.0]
  海上自律システムのAIセキュリティを評価するための,最初のレッドチームフレームワークを提案する。 このフレームワークはマルチパートのチェックリストであり、異なるシステムや要件に合わせて調整できる。 私たちはこのフレームワークが、現実の海上自律システムAI内の多数の脆弱性を明らかにするために、レッドチームにとって非常に効果的であることを実証しています。
  論文  参考訳（メタデータ） (2023-12-08T14:59:07Z)
• The Promise and Peril of Artificial Intelligence -- Violet Teaming Offers a Balanced Path Forward [56.16884466478886]
  本稿では、不透明で制御不能なAIシステムにおける新興問題についてレビューする。 信頼性と責任のあるAIを開発するために、紫外チームと呼ばれる統合フレームワークを提案する。 それは、設計によって積極的にリスクを管理するためのAI安全研究から生まれた。
  論文  参考訳（メタデータ） (2023-08-28T02:10:38Z)
• On the Security Risks of Knowledge Graph Reasoning [71.64027889145261]
  我々は、敵の目標、知識、攻撃ベクトルに応じて、KGRに対するセキュリティ脅威を体系化する。 我々は、このような脅威をインスタンス化する新しいタイプの攻撃であるROARを提示する。 ROARに対する潜在的な対策として,潜在的に有毒な知識のフィルタリングや,対向的な拡張クエリによるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2023-05-03T18:47:42Z)
• The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
  我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。 敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
  論文  参考訳（メタデータ） (2021-06-26T10:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。