論文の概要: Can a Bayesian Oracle Prevent Harm from an Agent?

• arxiv url: http://arxiv.org/abs/2408.05284v1
• Date: Fri, 9 Aug 2024 18:10:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 19:44:18.034424
• Title: Can a Bayesian Oracle Prevent Harm from an Agent?
• Title（参考訳）: ベイジアンオラクルはハームをエージェントから防ぐことができるか?
• Authors: Yoshua Bengio, Michael K. Cohen, Nikolay Malkin, Matt MacDermott, Damiano Fornasiere, Pietro Greiner, Younesse Kaddar,
• Abstract要約: 我々は、所定の安全仕様に違反する確率に基づいて、文脈依存境界を推定することを検討する。 世界の異なる仮説が全く異なる結果をもたらす可能性があることに注意し、我々は真だが未知の仮説の下で予測される安全違反の確率に基づいて導かれる。 iidの場合と非idの場合の2つの形態を考察し、その結果を実用的なAIガードレールに変換するためのオープンな問題に結論付ける。
• 参考スコア（独自算出の注目度）: 48.12936383352277
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Is there a way to design powerful AI systems based on machine learning methods that would satisfy probabilistic safety guarantees? With the long-term goal of obtaining a probabilistic guarantee that would apply in every context, we consider estimating a context-dependent bound on the probability of violating a given safety specification. Such a risk evaluation would need to be performed at run-time to provide a guardrail against dangerous actions of an AI. Noting that different plausible hypotheses about the world could produce very different outcomes, and because we do not know which one is right, we derive bounds on the safety violation probability predicted under the true but unknown hypothesis. Such bounds could be used to reject potentially dangerous actions. Our main results involve searching for cautious but plausible hypotheses, obtained by a maximization that involves Bayesian posteriors over hypotheses. We consider two forms of this result, in the iid case and in the non-iid case, and conclude with open problems towards turning such theoretical results into practical AI guardrails.
• Abstract（参考訳）: 確率論的安全性を保証する機械学習手法に基づいた強力なAIシステムを設計する方法はあるだろうか? 各文脈に適用可能な確率的保証を得るという長期的な目標を掲げて、所定の安全仕様に違反する確率に基づいて文脈依存境界を推定することを検討する。 このようなリスク評価は、AIの危険な行動に対するガードレールを提供するために、実行時に実施する必要がある。 世界の異なる仮説が全く異なる結果をもたらす可能性があることに注意し、どの仮説が正しいかわからないので、真だが未知の仮説の下で予測される安全違反確率の限界を導出する。 このような境界は、潜在的に危険な行為を拒絶するために用いられる。 本研究の主な成果は,ベイジアン後部を仮説として用いた最大化によって得られた,慎重だが妥当な仮説の探索である。 iidの場合と非idの場合の2つの形態を考察し、そのような理論結果を実用的なAIガードレールに変換するためのオープンな問題に結論付ける。

関連論文リスト

• Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
  大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。 本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。 攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
  論文  参考訳（メタデータ） (2024-07-15T23:41:11Z)
• Physics-informed RL for Maximal Safety Probability Estimation [0.8287206589886881]
  本研究では,リスクのある状態や長期軌道からのサンプルを十分にカバーすることなく,最大安全行動の長期安全確率を推定する方法を検討する。 提案手法は,短期サンプルを用いて長期リスクを推定し,未サンプリング状態のリスクを推定する。
  論文  参考訳（メタデータ） (2024-03-25T03:13:56Z)
• Information-Theoretic Safe Bayesian Optimization [59.758009422067005]
  そこでは、未知の(安全でない)制約に反するパラメータを評価することなく、未知の関数を最適化することを目的としている。 現在のほとんどのメソッドはドメインの離散化に依存しており、連続ケースに直接拡張することはできない。 本稿では,GP後部を直接利用して,最も情報に富む安全なパラメータを識別する情報理論的安全な探索基準を提案する。
  論文  参考訳（メタデータ） (2024-02-23T14:31:10Z)
• Information-Theoretic Safe Exploration with Gaussian Processes [89.31922008981735]
  未知の(安全でない)制約に反するパラメータを評価できないような、逐次的な意思決定タスクについて検討する。 現在のほとんどのメソッドはドメインの離散化に依存しており、連続ケースに直接拡張することはできない。 本稿では,GP後部を直接利用して,最も情報に富む安全なパラメータを識別する情報理論的安全な探索基準を提案する。
  論文  参考訳（メタデータ） (2022-12-09T15:23:58Z)
• Certifiers Make Neural Networks Vulnerable to Availability Attacks [70.69104148250614]
  私たちは初めて、逆転戦略が敵によって意図的に引き起こされる可能性があることを示します。 いくつかの入力や摂動のために自然に発生する障害に加えて、敵は故意にフォールバックを誘発するために訓練時間攻撃を使用することができる。 我々は2つの新しいアベイラビリティーアタックを設計し、これらの脅威の実用的妥当性を示す。
  論文  参考訳（メタデータ） (2021-08-25T15:49:10Z)
• Learning to Act Safely with Limited Exposure and Almost Sure Certainty [1.0323063834827415]
  本稿では,未知の環境における安全な行動を取るための学習を,探索試験を必要とせずに実現できるという考えを提唱する。 本稿では,まず標準的マルチアームバンディット問題に着目し,不確実性の存在下での学習安全性の本質的なトレードオフについて検討する。
  論文  参考訳（メタデータ） (2021-05-18T18:05:12Z)
• Handling Epistemic and Aleatory Uncertainties in Probabilistic Circuits [18.740781076082044]
  確率的推論の大規模クラスを扱うアプローチの背後にある独立性の仮定を克服する手法を提案する。 ベイズ学習のアルゴリズムは、完全な観察にもかかわらず、スパースから提供します。 そのような回路の各リーフは、不確実な確率を表すエレガントなフレームワークを提供するベータ分散ランダム変数でラベル付けされています。
  論文  参考訳（メタデータ） (2021-02-22T10:03:15Z)
• PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified Bayesian Regime [75.19403612525811]
  この研究は、2つのリスク間のトレードオフを分散することでギャップを埋めることのできるマルチサンプル損失を開発する。 実証的研究は予測分布の改善を示す。
  論文  参考訳（メタデータ） (2020-10-19T16:08:34Z)
• Learning to be safe, in finite time [4.189643331553922]
  本稿では,未知の環境での安全な行動の学習を,確率が保証されても,無拘束の探索試験を必要とせずに実現できるという考えを提唱する。 我々は、標準的マルチアームバンディット問題に焦点をあて、安全学習における探索保存トレードオフの本質的な研究を模索する。
  論文  参考訳（メタデータ） (2020-10-01T14:03:34Z)
• Robust Stochastic Bandit Algorithms under Probabilistic Unbounded Adversarial Attack [41.060507338755784]
  本稿では,各ラウンドで敵が一定の確率で攻撃する攻撃モデルについて検討する。 そこで我々は, 中央値および探索支援UPBアルゴリズム(med-E-UCB)と中央値の$epsilon$-greedyアルゴリズム(med-$epsilon$-greedy)を提案する。 どちらのアルゴリズムも上記の攻撃モデルに対して確実に堅牢である。より具体的には、どちらのアルゴリズムも$mathcalO(log T)$ pseudo-regret (i.e.)を達成することを示す。
  論文  参考訳（メタデータ） (2020-02-17T19:21:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。