論文の概要: Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress?

• arxiv url: http://arxiv.org/abs/2407.21792v1
• Date: Wed, 31 Jul 2024 17:59:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 17:31:11.867922
• Title: Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress?
• Title（参考訳）: AIの安全基準は実際に安全の進歩を測るのか?
• Authors: Richard Ren, Steven Basart, Adam Khoja, Alice Gatti, Long Phan, Xuwang Yin, Mantas Mazeika, Alexander Pan, Gabriel Mukobi, Ryan H. Kim, Stephen Fitz, Dan Hendrycks,
• Abstract要約: 我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。 我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
• 参考スコア（独自算出の注目度）: 59.96471873997733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As artificial intelligence systems grow more powerful, there has been increasing interest in "AI safety" research to address emerging and future risks. However, the field of AI safety remains poorly defined and inconsistently measured, leading to confusion about how researchers can contribute. This lack of clarity is compounded by the unclear relationship between AI safety benchmarks and upstream general capabilities (e.g., general knowledge and reasoning). To address these issues, we conduct a comprehensive meta-analysis of AI safety benchmarks, empirically analyzing their correlation with general capabilities across dozens of models and providing a survey of existing directions in AI safety. Our findings reveal that many safety benchmarks highly correlate with upstream model capabilities, potentially enabling "safetywashing" -- where capability improvements are misrepresented as safety advancements. Based on these findings, we propose an empirical foundation for developing more meaningful safety metrics and define AI safety in a machine learning research context as a set of clearly delineated research goals that are empirically separable from generic capabilities advancements. In doing so, we aim to provide a more rigorous framework for AI safety research, advancing the science of safety evaluations and clarifying the path towards measurable progress.
• Abstract（参考訳）: 人工知能システムがより強力になるにつれて、新たなリスクと将来のリスクに対処する"AI安全"研究への関心が高まっている。 しかし、AIの安全性の分野はいまだに十分に定義されておらず、不整合的に測定されているため、研究者がどのように貢献できるかという混乱を招いている。 この明確さの欠如は、AIの安全性ベンチマークと上流の一般的な能力(例えば、一般的な知識と推論)の間の不明瞭な関係によって複雑化している。 これらの問題に対処するため、私たちはAI安全性ベンチマークの包括的なメタ分析を行い、数十のモデルにわたる一般的な機能との相関を実証的に分析し、AI安全性における既存の方向性を調査します。 この結果から,多くの安全ベンチマークが上流モデルの能力と高い相関関係があることが判明した。 これらの知見に基づいて、より有意義な安全性指標を開発し、汎用能力の進歩から経験的に分離可能な、明確に記述された研究目標のセットとして、機械学習研究コンテキストにおけるAI安全性を定義するための実証的基盤を提案する。 そこで我々は、AI安全研究のためのより厳格なフレームワークの提供、安全性評価の科学の進歩、測定可能な進歩への道のりを明確にすることを目的としている。

関連論文リスト

• Trustworthy, Responsible, and Safe AI: A Comprehensive Architectural Framework for AI Safety with Challenges and Mitigations [14.150792596344674]
  AI安全性は、AIシステムの安全な採用とデプロイにおいて重要な領域である。 私たちの目標は、AI安全研究の進歩を促進し、究極的には、デジタルトランスフォーメーションに対する人々の信頼を高めることです。
  論文  参考訳（メタデータ） (2024-08-23T09:33:48Z)
• Cross-Modality Safety Alignment [73.8765529028288]
  我々は、モダリティ間の安全アライメントを評価するために、セーフインプットとアンセーフアウトプット(SIUO)と呼ばれる新しい安全アライメントの課題を導入する。 この問題を実証的に調査するため,我々はSIUOを作成した。SIUOは,自己修復,違法行為,プライバシー侵害など,9つの重要な安全領域を含むクロスモダリティベンチマークである。 以上の結果から, クローズドおよびオープンソース両方のLVLMの安全性上の重大な脆弱性が明らかとなり, 複雑で現実的なシナリオを確実に解釈し, 応答する上で, 現行モデルが不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T16:14:15Z)
• Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
  我々は、AI安全性に対する一連のアプローチを紹介し、定義する。 これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。 これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
  論文  参考訳（メタデータ） (2024-05-10T17:38:32Z)
• Safeguarded Progress in Reinforcement Learning: Safe Bayesian Exploration for Control Policy Synthesis [63.532413807686524]
  本稿では、強化学習(RL)におけるトレーニング中の安全維持の問題に対処する。 探索中の効率的な進捗と安全性のトレードオフを扱う新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-12-18T16:09:43Z)
• Safety-Gymnasium: A Unified Safe Reinforcement Learning Benchmark [12.660770759420286]
  本稿では,単一エージェントとマルチエージェントの両方のシナリオにおいて,安全クリティカルなタスクを含む環境スイートであるSafety-Gymnasiumを提案する。 Safe Policy Optimization (SafePO) という,最先端のSafeRLアルゴリズム16種からなるアルゴリズムのライブラリを提供する。
  論文  参考訳（メタデータ） (2023-10-19T08:19:28Z)
• Towards Safer Generative Language Models: A Survey on Safety Risks, Evaluations, and Improvements [76.80453043969209]
  本調査では,大規模モデルに関する安全研究の枠組みについて述べる。 まず、広範囲にわたる安全問題を導入し、その後、大型モデルの安全性評価手法を掘り下げる。 トレーニングからデプロイメントまで,大規模なモデルの安全性を高めるための戦略について検討する。
  論文  参考訳（メタデータ） (2023-02-18T09:32:55Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• On Safety Assessment of Artificial Intelligence [0.0]
  人工知能の多くのモデル、特に機械学習は統計モデルであることを示す。 危険なランダム障害の予算の一部は、AIシステムの確率論的欠陥行動に使用される必要がある。 我々は、安全関連システムにおけるAIの利用に決定的な研究課題を提案する。
  論文  参考訳（メタデータ） (2020-02-29T14:05:28Z)
• TanksWorld: A Multi-Agent Environment for AI Safety Research [5.218815947097599]
  複雑なタスクを実行できる人工知能を作成する能力は、AI対応システムの安全かつ確実な運用を保証する能力を急速に上回っている。 AIの安全性リスクを示す最近のシミュレーション環境は、特定の問題に比較的単純または狭く焦点を絞っている。 我々は,3つの重要な側面を持つAI安全研究環境として,AI安全タンクワールドを紹介した。
  論文  参考訳（メタデータ） (2020-02-25T21:00:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。