論文の概要: The Human Factor in AI Red Teaming: Perspectives from Social and Collaborative Computing

• arxiv url: http://arxiv.org/abs/2407.07786v2
• Date: Wed, 11 Sep 2024 16:02:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-12 20:32:18.246133
• Title: The Human Factor in AI Red Teaming: Perspectives from Social and Collaborative Computing
• Title（参考訳）: AIレッドチームにおけるヒューマンファクタ - ソーシャルコンピューティングとコラボレーティブコンピューティングの視点から
• Authors: Alice Qian Zhang, Ryland Shaw, Jacy Reese Anthis, Ashlee Milton, Emily Tseng, Jina Suh, Lama Ahmad, Ram Shankar Siva Kumar, Julian Posada, Benjamin Shestakofsky, Sarah T. Roberts, Mary L. Gray,
• Abstract要約: 汎用AIの急速な進歩は、"レッドチーム"に大きな関心を喚起した レッドチームの選択方法、テストの実施方法におけるバイアスと盲点、レッドチームの心理的影響に関する質問。 将来の研究は、公正からメンタルヘルス、その他の潜在的な害のある分野まで幅広いトピックを探求することができる。
• 参考スコア（独自算出の注目度）: 4.933252611303578
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Rapid progress in general-purpose AI has sparked significant interest in "red teaming," a practice of adversarial testing originating in military and cybersecurity applications. AI red teaming raises many questions about the human factor, such as how red teamers are selected, biases and blindspots in how tests are conducted, and harmful content's psychological effects on red teamers. A growing body of HCI and CSCW literature examines related practices-including data labeling, content moderation, and algorithmic auditing. However, few, if any have investigated red teaming itself. Future studies may explore topics ranging from fairness to mental health and other areas of potential harm. We aim to facilitate a community of researchers and practitioners who can begin to meet these challenges with creativity, innovation, and thoughtful reflection.
• Abstract（参考訳）: 汎用AIの急速な進歩は、軍事およびサイバーセキュリティアプリケーションから派生した敵対的テストの実践である"レッドチーム"に大きな関心を呼んだ。 AI Red Teamingは、レッドチームの選択方法、テストの実施方法におけるバイアスや盲点、有害なコンテンツによる心理的影響など、ヒューマンファクタに関する多くの疑問を提起する。 HCIとCSCWの文献は、データラベリング、コンテンツモデレーション、アルゴリズム監査を含む関連するプラクティスを調査している。 しかし、レッドチーム自体を調査した人はほとんどいない。 将来の研究は、公正からメンタルヘルス、その他の潜在的な害のある分野まで幅広いトピックを探求することができる。 我々は、創造性、革新、思慮深い振り返りでこれらの課題に取り組み始めることができる研究者や実践者のコミュニティを促進することを目的としています。

関連論文リスト

• Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
  生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。 新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。 レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。 この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-09-23T10:18:10Z)
• Open Challenges on Fairness of Artificial Intelligence in Medical Imaging Applications [3.8236840661885485]
  この章ではまず、データ収集、モデルトレーニング、臨床展開など、さまざまなバイアス源について論じている。 そして、研究者や実践者からの注意を必要とすると信じているオープンな課題について議論する。
  論文  参考訳（メタデータ） (2024-07-24T02:41:19Z)
• Red-Teaming for Generative AI: Silver Bullet or Security Theater? [42.35800543892003]
  我々は、赤いチーム化は、GenAIの有害な軽減を特徴付ける上で価値のある大胆なアイデアであるが、業界はAIを保護するために、閉じたドアの後ろでレッドチームやその他の戦略を効果的に適用するかもしれないと論じている。 生成AIの評価のより堅牢なツールボックスに向けて、私たちは、私たちの推奨事項を、将来のAI赤チームプラクティスをガイドし、足場にすることを目的とした質問銀行に合成します。
  論文  参考訳（メタデータ） (2024-01-29T05:46:14Z)
• The Promise and Peril of Artificial Intelligence -- Violet Teaming Offers a Balanced Path Forward [56.16884466478886]
  本稿では、不透明で制御不能なAIシステムにおける新興問題についてレビューする。 信頼性と責任のあるAIを開発するために、紫外チームと呼ばれる統合フレームワークを提案する。 それは、設計によって積極的にリスクを管理するためのAI安全研究から生まれた。
  論文  参考訳（メタデータ） (2023-08-28T02:10:38Z)
• Large Language Models are Fixated by Red Herrings: Exploring Creative Problem Solving and Einstellung Effect using the Only Connect Wall Dataset [4.789429120223149]
  人間の模倣AIの探求は、その誕生以来、AI研究において永続的な話題となっている。 人間の創造的問題解決は認知神経科学においてよく研究されているトピックである。 Connect Wallのセグメントだけが、基本的にはメドニックのRemote Associates Test (RAT)の定式化を、ビルトインで故意に赤いハーリングで模倣している。
  論文  参考訳（メタデータ） (2023-06-19T21:14:57Z)
• Capturing Humans' Mental Models of AI: An Item Response Theory Approach [12.129622383429597]
  我々は、AIエージェントのパフォーマンスが、他の人間のパフォーマンスよりも平均的にはるかに良いと期待していることを示します。 以上の結果から,AIエージェントの性能は他の人間よりも平均的に有意に向上することが示唆された。
  論文  参考訳（メタデータ） (2023-05-15T23:17:26Z)
• Human-Centered Responsible Artificial Intelligence: Current & Future Trends [76.94037394832931]
  近年、CHIコミュニティは人間中心のレスポンシブル人工知能の研究において著しい成長を遂げている。 この研究はすべて、人権と倫理に根ざしたまま、人類に利益をもたらすAIを開発し、AIの潜在的な害を減らすことを目的としている。 本研究グループでは,これらのトピックに関心のある学術・産業の研究者を集結させ,現在の研究動向と今後の研究動向を地図化することを目的とする。
  論文  参考訳（メタデータ） (2023-02-16T08:59:42Z)
• Searching for the Essence of Adversarial Perturbations [73.96215665913797]
  本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。 この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
  論文  参考訳（メタデータ） (2022-05-30T18:04:57Z)
• From Psychological Curiosity to Artificial Curiosity: Curiosity-Driven Learning in Artificial Intelligence Tasks [56.20123080771364]
  心理学的好奇心は、探索と情報取得を通じて学習を強化するために、人間の知性において重要な役割を果たす。 人工知能(AI)コミュニティでは、人工好奇心は効率的な学習に自然な本質的な動機を与える。 CDLはますます人気を博し、エージェントは新たな知識を学習するために自己動機付けされている。
  論文  参考訳（メタデータ） (2022-01-20T17:07:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。