論文の概要: A Domain-Agnostic Scalable AI Safety Ensuring Framework

• arxiv url: http://arxiv.org/abs/2504.20924v2
• Date: Wed, 30 Apr 2025 22:06:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.996466
• Title: A Domain-Agnostic Scalable AI Safety Ensuring Framework
• Title（参考訳）: ドメインに依存しないスケーラブルなAI安全性保証フレームワーク
• Authors: Beomjun Kim, Kangyeon Kim, Sunwoo Kim, Heejin Ahn,
• Abstract要約: AIの安全性に対する現在のアプローチは、通常、ドメイン固有の安全性条件に対処する。 我々は,AIシステムがユーザ定義制約に適合することを確実にする,新しいAI安全フレームワークを提案する。 様々な分野の実験を通して、我々のフレームワークの有効性を実証する。
• 参考スコア（独自算出の注目度）: 8.086635708001166
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Ensuring the safety of AI systems has recently emerged as a critical priority for real-world deployment, particularly in physical AI applications. Current approaches to AI safety typically address predefined domain-specific safety conditions, limiting their ability to generalize across contexts. We propose a novel AI safety framework that ensures AI systems comply with any user-defined constraint, with any desired probability, and across various domains. In this framework, we combine an AI component (e.g., neural network) with an optimization problem to produce responses that minimize objectives while satisfying user-defined constraints with probabilities exceeding user-defined thresholds. For credibility assessment of the AI component, we propose internal test data, a supplementary set of safety-labeled data, and a conservative testing methodology that provides statistical validity of using internal test data. We also present an approximation method of a loss function and how to compute its gradient for training. We mathematically prove that probabilistic constraint satisfaction is guaranteed under specific, mild conditions and prove a scaling law between safety and the number of internal test data. We demonstrate our framework's effectiveness through experiments in diverse domains: demand prediction for production decision, safe reinforcement learning within the SafetyGym simulator, and guarding AI chatbot outputs. Through these experiments, we demonstrate that our method guarantees safety for user-specified constraints, outperforms for up to several order of magnitudes existing methods in low safety threshold regions, and scales effectively with respect to the size of internal test data.
• Abstract（参考訳）: AIシステムの安全性を確保することが、特に物理AIアプリケーションにおいて、現実世界のデプロイメントにとって重要な優先事項として最近登場した。 AIの安全性に対する現在のアプローチは、通常、定義済みのドメイン固有の安全性条件に対処し、コンテキスト全体にわたって一般化する能力を制限する。 我々は,AIシステムが任意のユーザ定義制約を,任意の確率で,かつ,さまざまな領域にわたって遵守することを保証する,新しいAI安全フレームワークを提案する。 このフレームワークでは、AIコンポーネント(例えばニューラルネットワーク)と最適化問題を組み合わせて、ユーザ定義のしきい値を超える確率でユーザ定義の制約を満たすと同時に、目的を最小化する応答を生成する。 AIコンポーネントの信頼性を評価するため、内部テストデータ、安全ラベル付きデータの補足セット、および内部テストデータを用いた統計的妥当性を提供する保守的テスト手法を提案する。 また、損失関数の近似法と、その勾配を計算する方法を提案する。 確率的制約満足度は、特定の穏やかな条件下で保証されることを数学的に証明し、安全性と内部テストデータ数の間のスケーリング則を証明する。 我々は,生産決定に対する需要予測,セーフティガイムシミュレータ内での安全な強化学習,AIチャットボット出力の保護など,さまざまな領域の実験を通じて,フレームワークの有効性を実証する。 これらの実験により,本手法は,ユーザ指定制約に対する安全性を保証するとともに,安全性の低い領域における既存手法の複数桁の精度で性能を向上し,内部テストデータのサイズに対して効果的にスケールできることが実証された。

関連論文リスト

• AISafetyLab: A Comprehensive Framework for AI Safety Evaluation and Improvement [73.0700818105842]
  我々は、AI安全のための代表的攻撃、防衛、評価方法論を統合する統合されたフレームワークとツールキットであるAISafetyLabを紹介する。 AISafetyLabには直感的なインターフェースがあり、開発者はシームレスにさまざまなテクニックを適用できる。 我々はヴィクナに関する実証的研究を行い、異なる攻撃戦略と防衛戦略を分析し、それらの比較効果に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2025-02-24T02:11:52Z)
• Assessing confidence in frontier AI safety cases [37.839615078345886]
  安全ケースは、システムの安全性に関する最上位のクレームを支持する構造化された議論を示す。 これにより、トップレベルのクレームとどのレベルの信頼が結びつくべきかという疑問が持ち上がる。 提案手法は,AI開発者が優先し,議論の敗者に対する調査をより効率的に行う方法である。
  論文  参考訳（メタデータ） (2025-02-09T06:35:11Z)
• Scaling #DNN-Verification Tools with Efficient Bound Propagation and Parallel Computing [57.49021927832259]
  ディープニューラルネットワーク(DNN)は多くのシナリオで異常な結果を示した強力なツールです。 しかし、それらの複雑な設計と透明性の欠如は、現実世界のアプリケーションに適用する際の安全性上の懸念を提起する。 DNNの形式的検証(FV)は、安全面の証明可能な保証を提供する貴重なソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-12-10T13:51:25Z)
• ASSERT: Automated Safety Scenario Red Teaming for Evaluating the Robustness of Large Language Models [65.79770974145983]
  ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。 このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。 統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
  論文  参考訳（メタデータ） (2023-10-14T17:10:28Z)
• Information-Theoretic Safe Exploration with Gaussian Processes [89.31922008981735]
  未知の(安全でない)制約に反するパラメータを評価できないような、逐次的な意思決定タスクについて検討する。 現在のほとんどのメソッドはドメインの離散化に依存しており、連続ケースに直接拡張することはできない。 本稿では,GP後部を直接利用して,最も情報に富む安全なパラメータを識別する情報理論的安全な探索基準を提案する。
  論文  参考訳（メタデータ） (2022-12-09T15:23:58Z)
• Meta-Learning Priors for Safe Bayesian Optimization [72.8349503901712]
  メタ学習アルゴリズムであるF-PACOHを構築し,データ不足の設定において確実な定量化を実現する。 コアコントリビューションとして、安全に適合した事前をデータ駆動で選択するための新しいフレームワークを開発する。 ベンチマーク関数と高精度動作系において,我々のメタ学習先行が安全なBOアプローチの収束を加速することを示す。
  論文  参考訳（メタデータ） (2022-10-03T08:38:38Z)
• Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
  CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。 次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。 これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
  論文  参考訳（メタデータ） (2022-08-23T05:02:09Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• Neural Bridge Sampling for Evaluating Safety-Critical Autonomous Systems [34.945482759378734]
  シミュレーションの安全性評価には確率論的アプローチを用いており、危険事象の確率を計算することに関心がある。 探索, 利用, 最適化技術を組み合わせて, 故障モードを見つけ, 発生率を推定する新しいレアイベントシミュレーション手法を開発した。
  論文  参考訳（メタデータ） (2020-08-24T17:46:27Z)
• Efficient statistical validation with edge cases to evaluate Highly Automated Vehicles [6.198523595657983]
  自動運転車の大規模展開は、まだ解決されていない多くの安全上の課題にもかかわらず、差し迫っているようだ。 既存の標準は、検証が要求をカバーするテストケースのセットだけを必要とする決定論的プロセスに焦点を当てています。 本稿では, 自動生成テストケースを最悪のシナリオに偏り付け, システムの挙動の統計的特性を計算するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-04T04:35:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。