論文の概要: AI Red-Teaming is a Sociotechnical System. Now What?
- arxiv url: http://arxiv.org/abs/2412.09751v1
- Date: Thu, 12 Dec 2024 22:48:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-16 15:04:18.255871
- Title: AI Red-Teaming is a Sociotechnical System. Now What?
- Title(参考訳): AIのレッドチーム化は社会技術システムだ。今度は何?
- Authors: Tarleton Gillespie, Ryland Shaw, Mary L. Gray, Jina Suh,
- Abstract要約: 生成AI技術は、ますます現実のアプリケーションを見つけ、そのパフォーマンスと安全性をテストすることの重要性が最重要であるように思える。
赤チーム化は、AI企業によって優先順位付けされた、AIモデルをテストするための主要なアプローチである。
我々は、レッドチームの背後にある価値と前提を理解することの重要性、関連する労力、レッドチームに対する心理的影響を強調します。
- 参考スコア(独自算出の注目度): 3.0001147629373195
- License:
- Abstract: As generative AI technologies find more and more real-world applications, the importance of testing their performance and safety seems paramount. ``Red-teaming'' has quickly become the primary approach to test AI models--prioritized by AI companies, and enshrined in AI policy and regulation. Members of red teams act as adversaries, probing AI systems to test their safety mechanisms and uncover vulnerabilities. Yet we know too little about this work and its implications. This essay calls for collaboration between computer scientists and social scientists to study the sociotechnical systems surrounding AI technologies, including the work of red-teaming, to avoid repeating the mistakes of the recent past. We highlight the importance of understanding the values and assumptions behind red-teaming, the labor involved, and the psychological impacts on red-teamers.
- Abstract(参考訳): 生成的AI技術がより現実的なアプリケーションを見つけるにつれ、パフォーマンスと安全性をテストすることの重要性が最重要視される。
AI企業が優先的にAIモデルをテストし、AIポリシーと規制に具体化している。
赤いチームのメンバーは敵として行動し、AIシステムを調べて安全メカニズムをテストし、脆弱性を明らかにする。
しかし、この仕事とその意味についてはほとんど分かっていない。
このエッセイでは、コンピュータ科学者と社会科学者が協力して、赤チームの仕事を含むAI技術を取り巻く社会技術システムを研究し、過去の過ちを繰り返すことを避けることを求めている。
我々は、レッドチームの背後にある価値と前提を理解することの重要性、関連する労力、レッドチームに対する心理的影響を強調します。
関連論文リスト
- Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。
新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。
レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。
この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
論文 参考訳(メタデータ) (2024-09-23T10:18:10Z) - The Human Factor in AI Red Teaming: Perspectives from Social and Collaborative Computing [4.933252611303578]
汎用AIの急速な進歩は、"レッドチーム"に大きな関心を喚起した
レッドチームの選択方法、テストの実施方法におけるバイアスと盲点、レッドチームの心理的影響に関する質問。
将来の研究は、公正からメンタルヘルス、その他の潜在的な害のある分野まで幅広いトピックを探求することができる。
論文 参考訳(メタデータ) (2024-07-10T16:02:13Z) - Red-Teaming for Generative AI: Silver Bullet or Security Theater? [42.35800543892003]
我々は、赤いチーム化は、GenAIの有害な軽減を特徴付ける上で価値のある大胆なアイデアであるが、業界はAIを保護するために、閉じたドアの後ろでレッドチームやその他の戦略を効果的に適用するかもしれないと論じている。
生成AIの評価のより堅牢なツールボックスに向けて、私たちは、私たちの推奨事項を、将来のAI赤チームプラクティスをガイドし、足場にすることを目的とした質問銀行に合成します。
論文 参考訳(メタデータ) (2024-01-29T05:46:14Z) - A Red Teaming Framework for Securing AI in Maritime Autonomous Systems [0.0]
海上自律システムのAIセキュリティを評価するための,最初のレッドチームフレームワークを提案する。
このフレームワークはマルチパートのチェックリストであり、異なるシステムや要件に合わせて調整できる。
私たちはこのフレームワークが、現実の海上自律システムAI内の多数の脆弱性を明らかにするために、レッドチームにとって非常に効果的であることを実証しています。
論文 参考訳(メタデータ) (2023-12-08T14:59:07Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳(メタデータ) (2023-10-26T17:59:06Z) - The Promise and Peril of Artificial Intelligence -- Violet Teaming
Offers a Balanced Path Forward [56.16884466478886]
本稿では、不透明で制御不能なAIシステムにおける新興問題についてレビューする。
信頼性と責任のあるAIを開発するために、紫外チームと呼ばれる統合フレームワークを提案する。
それは、設計によって積極的にリスクを管理するためのAI安全研究から生まれた。
論文 参考訳(メタデータ) (2023-08-28T02:10:38Z) - Proceedings of the Artificial Intelligence for Cyber Security (AICS)
Workshop at AAAI 2022 [55.573187938617636]
ワークショップは、サイバーセキュリティの問題へのAIの適用に焦点を当てる。
サイバーシステムは大量のデータを生成し、これを効果的に活用することは人間の能力を超えます。
論文 参考訳(メタデータ) (2022-02-28T18:27:41Z) - A User-Centred Framework for Explainable Artificial Intelligence in
Human-Robot Interaction [70.11080854486953]
本稿では,XAIのソーシャル・インタラクティブな側面に着目したユーザ中心型フレームワークを提案する。
このフレームワークは、エキスパートでないユーザのために考えられた対話型XAIソリューションのための構造を提供することを目的としている。
論文 参考訳(メタデータ) (2021-09-27T09:56:23Z) - Explainable Goal-Driven Agents and Robots -- A Comprehensive Review [13.94373363822037]
論文は、目標駆動型知的エージェントとロボットの説明可能なアプローチをレビューする。
エージェントの知覚機能や認知的推論を説明・伝達する技術に重点を置いている。
効果的な目標駆動型説明可能なエージェントとロボットの実現に向けたロードマップを提案する。
論文 参考訳(メタデータ) (2020-04-21T01:41:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。