論文の概要: Sociotechnical Safety Evaluation of Generative AI Systems
- arxiv url: http://arxiv.org/abs/2310.11986v2
- Date: Tue, 31 Oct 2023 18:23:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 16:37:39.359685
- Title: Sociotechnical Safety Evaluation of Generative AI Systems
- Title(参考訳): 生成型AIシステムの社会安全評価
- Authors: Laura Weidinger, Maribeth Rauh, Nahema Marchal, Arianna Manzini, Lisa
Anne Hendricks, Juan Mateos-Garcia, Stevie Bergman, Jackie Kay, Conor
Griffin, Ben Bariach, Iason Gabriel, Verena Rieser, William Isaac
- Abstract要約: 生成AIシステムは、さまざまなリスクを生み出す。
生成AIシステムの安全性を確保するためには、これらのリスクを評価する必要がある。
本稿では,これらのリスクを評価するための構造的,社会学的アプローチを取り入れた3層フレームワークを提案する。
- 参考スコア(独自算出の注目度): 13.546708226350963
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative AI systems produce a range of risks. To ensure the safety of
generative AI systems, these risks must be evaluated. In this paper, we make
two main contributions toward establishing such evaluations. First, we propose
a three-layered framework that takes a structured, sociotechnical approach to
evaluating these risks. This framework encompasses capability evaluations,
which are the main current approach to safety evaluation. It then reaches
further by building on system safety principles, particularly the insight that
context determines whether a given capability may cause harm. To account for
relevant context, our framework adds human interaction and systemic impacts as
additional layers of evaluation. Second, we survey the current state of safety
evaluation of generative AI systems and create a repository of existing
evaluations. Three salient evaluation gaps emerge from this analysis. We
propose ways forward to closing these gaps, outlining practical steps as well
as roles and responsibilities for different actors. Sociotechnical safety
evaluation is a tractable approach to the robust and comprehensive safety
evaluation of generative AI systems.
- Abstract(参考訳): 生成AIシステムは、さまざまなリスクを生み出す。
生成AIシステムの安全性を確保するためには、これらのリスクを評価する必要がある。
本稿では,評価の確立に向けて2つの大きな貢献を行う。
まず,リスク評価のための構造的,社会学的アプローチを用いた3層フレームワークを提案する。
このフレームワークは、安全性評価の主要なアプローチである能力評価を包含する。
システム安全性の原則、特に与えられた能力が害をもたらすかどうかをコンテキストが決定する洞察に基づいてさらに到達します。
関連する文脈を説明するため,我々のフレームワークは人的相互作用とシステム的影響を付加的な評価層として追加する。
第2に、生成AIシステムの安全性評価の現状を調査し、既存の評価のリポジトリを作成する。
この分析から3つの顕著な評価ギャップが生じる。
我々はこれらのギャップを解消し、実践的なステップと異なるアクターの役割と責任を概説する。
社会技術的安全性評価は、生成型aiシステムのロバストで包括的な安全性評価への扱いやすいアプローチである。
関連論文リスト
- Holistic Safety and Responsibility Evaluations of Advanced AI Models [18.34510620901674]
高度なAIモデルの安全性と責任評価は、研究と実践の重要な分野である。
Google DeepMindの高度なAIモデルの開発において、安全評価に幅広いアプローチを革新し、適用しました。
論文 参考訳(メタデータ) (2024-04-22T10:26:49Z) - Towards AI Safety: A Taxonomy for AI System Evaluation [23.92695048003188]
高度なAIの出現は、包括的安全性評価の必要性を前面に浮かび上がらせる。
本稿では,3つのコンポーネントからなる総合的なAIシステム評価フレームワークを提案する。
論文 参考訳(メタデータ) (2024-04-08T10:49:59Z) - ASSERT: Automated Safety Scenario Red Teaming for Evaluating the
Robustness of Large Language Models [65.79770974145983]
ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。
このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。
統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
論文 参考訳(メタデータ) (2023-10-14T17:10:28Z) - Leveraging Traceability to Integrate Safety Analysis Artifacts into the
Software Development Process [51.42800587382228]
安全保証ケース(SAC)は、システムの進化中に維持することが困難である。
本稿では,ソフトウェアトレーサビリティを活用して,関連するシステムアーチファクトを安全解析モデルに接続する手法を提案する。
安全ステークホルダーがシステム変更が安全性に与える影響を分析するのに役立つように、システム変更の合理性を設計する。
論文 参考訳(メタデータ) (2023-07-14T16:03:27Z) - Evaluating the Social Impact of Generative AI Systems in Systems and
Society [53.936980366906646]
我々は、任意のモダリティに対して生成AIシステムを評価するための標準的なアプローチに向かっている。
基礎技術システムにおいて、人や社会において、特定の社会的影響カテゴリと、どのようにアプローチし、どのように評価を行うかを説明する。
論文 参考訳(メタデータ) (2023-06-09T15:05:13Z) - Model evaluation for extreme risks [46.53170857607407]
AI開発のさらなる進歩は、攻撃的なサイバー能力や強力な操作スキルのような極端なリスクを引き起こす能力につながる可能性がある。
モデル評価が極端なリスクに対処するために重要である理由を説明します。
論文 参考訳(メタデータ) (2023-05-24T16:38:43Z) - Towards Safer Generative Language Models: A Survey on Safety Risks,
Evaluations, and Improvements [76.80453043969209]
本調査では,大規模モデルに関する安全研究の枠組みについて述べる。
まず、広範囲にわたる安全問題を導入し、その後、大型モデルの安全性評価手法を掘り下げる。
トレーニングからデプロイメントまで,大規模なモデルの安全性を高めるための戦略について検討する。
論文 参考訳(メタデータ) (2023-02-18T09:32:55Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳(メタデータ) (2022-12-12T06:30:17Z) - Quantitative AI Risk Assessments: Opportunities and Challenges [9.262092738841979]
AIベースのシステムは、組織、個人、社会に価値を提供するために、ますます活用されている。
リスクは、提案された規制、訴訟、および一般的な社会的懸念につながった。
本稿では,定量的AIリスクアセスメントの概念について考察する。
論文 参考訳(メタデータ) (2022-09-13T21:47:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。