論文の概要: Free Energy Risk Metrics for Systemically Safe AI: Gatekeeping Multi-Agent Study

• arxiv url: http://arxiv.org/abs/2502.04249v1
• Date: Thu, 06 Feb 2025 17:38:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:34:27.623791
• Title: Free Energy Risk Metrics for Systemically Safe AI: Gatekeeping Multi-Agent Study
• Title（参考訳）: 安全AIのための自由エネルギーリスク指標 : ゲートキーピングマルチエージェント研究
• Authors: Michael Walters, Rafael Kaufmann, Justice Sefas, Thomas Kopinski,
• Abstract要約: エージェントおよびマルチエージェントシステムにおけるリスク測定の基礎として,フリーエネルギー原理を考察する。 異なる状況やニーズに対してフレキシブルな累積的リスク露光指標を導入します。 AV艦隊におけるゲートキーパーの導入は,低浸透時であっても,システム安全性の向上の観点から,大きな肯定的な外部性を生み出すことが示されている。
• 参考スコア（独自算出の注目度）: 0.4166512373146748
• License:
• Abstract: We investigate the Free Energy Principle as a foundation for measuring risk in agentic and multi-agent systems. From these principles we introduce a Cumulative Risk Exposure metric that is flexible to differing contexts and needs. We contrast this to other popular theories for safe AI that hinge on massive amounts of data or describing arbitrarily complex world models. In our framework, stakeholders need only specify their preferences over system outcomes, providing straightforward and transparent decision rules for risk governance and mitigation. This framework naturally accounts for uncertainty in both world model and preference model, allowing for decision-making that is epistemically and axiologically humble, parsimonious, and future-proof. We demonstrate this novel approach in a simplified autonomous vehicle environment with multi-agent vehicles whose driving policies are mediated by gatekeepers that evaluate, in an online fashion, the risk to the collective safety in their neighborhood, and intervene through each vehicle's policy when appropriate. We show that the introduction of gatekeepers in an AV fleet, even at low penetration, can generate significant positive externalities in terms of increased system safety.
• Abstract（参考訳）: エージェントおよびマルチエージェントシステムにおけるリスク測定の基礎として,フリーエネルギー原理を考察する。 これらの原則から、異なるコンテキストやニーズに対してフレキシブルな累積的リスク露光指標を導入します。 これは、大量のデータにヒンジしたり、任意に複雑な世界モデルを記述する、安全なAIに関する他の一般的な理論とは対照的です。 当社のフレームワークでは、ステークホルダはシステム結果よりも自分たちの好みを指定するだけで、リスク管理と緩和のための単純で透明な決定ルールを提供します。 この枠組みは、自然に世界モデルと嗜好モデルの両方の不確実性を考慮し、エピステマティックで、公理的に謙虚で、同義的で、将来的な意思決定を可能にする。 本手法は, 運転方針をゲートキーパーが仲介し, 周辺地域の集団安全へのリスクを評価し, 適切な場合に各車両の方針を介入する多エージェント車による簡易な自律走行環境において実証する。 AV艦隊におけるゲートキーパーの導入は,低浸透時であっても,システム安全性の向上の観点から,大きな肯定的な外部性を生み出すことが示されている。

関連論文リスト

• SafeDrive: Knowledge- and Data-Driven Risk-Sensitive Decision-Making for Autonomous Vehicles with Large Language Models [14.790308656087316]
  SafeDriveは、自律運転の安全性と適応性を高めるための、知識とデータ駆動型リスクに敏感な意思決定フレームワークである。 知識駆動型洞察と適応学習機構を統合することにより、不確実な条件下での堅牢な意思決定を保証する。
  論文  参考訳（メタデータ） (2024-12-17T16:45:27Z)
• A Safe Self-evolution Algorithm for Autonomous Driving Based on Data-Driven Risk Quantification Model [14.398857940603495]
  本稿では,データ駆動型リスク定量化モデルに基づく自動運転のための安全な自己進化アルゴリズムを提案する。 アルゴリズムの自己進化能力に対する過保守的安全保護ポリシーの影響を回避するため, 安全限度を調整可能な安全限度付き安全進化型決定制御統合アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-23T02:52:35Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Safe Inputs but Unsafe Output: Benchmarking Cross-modality Safety Alignment of Large Vision-Language Model [73.8765529028288]
  我々は、モダリティ間の安全アライメントを評価するために、セーフインプットとアンセーフアウトプット(SIUO)と呼ばれる新しい安全アライメントの課題を導入する。 この問題を実証的に調査するため,我々はSIUOを作成した。SIUOは,自己修復,違法行為,プライバシー侵害など,9つの重要な安全領域を含むクロスモダリティベンチマークである。 以上の結果から, クローズドおよびオープンソース両方のLVLMの安全性上の重大な脆弱性が明らかとなり, 複雑で現実的なシナリオを確実に解釈し, 応答する上で, 現行モデルが不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T16:14:15Z)
• RiskQ: Risk-sensitive Multi-Agent Reinforcement Learning Value Factorization [49.26510528455664]
  本稿では,リスクに敏感な個人・グローバル・マックス(RIGM)の原則を,個人・グローバル・マックス(IGM)と分散IGM(DIGM)の原則の一般化として紹介する。 RiskQは広範な実験によって有望な性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-11-03T07:18:36Z)
• A Counterfactual Safety Margin Perspective on the Scoring of Autonomous Vehicles' Riskiness [52.27309191283943]
  本稿では,異なるAVの行動のリスクを評価するためのデータ駆動型フレームワークを提案する。 本稿では,衝突を引き起こす可能性のある名目行動から最小限の偏差を示す,対実的安全マージンの概念を提案する。
  論文  参考訳（メタデータ） (2023-08-02T09:48:08Z)
• Safe Model-Based Multi-Agent Mean-Field Reinforcement Learning [48.667697255912614]
  平均場強化学習は、同一エージェントの無限集団と相互作用する代表エージェントのポリシーに対処する。 モデルベースの平均場強化学習アルゴリズムであるSafe-M$3$-UCRLを提案する。 本アルゴリズムは,低需要領域におけるサービスアクセシビリティを確保しつつ,重要な領域における需要を効果的に満たす。
  論文  参考訳（メタデータ） (2023-06-29T15:57:07Z)
• Risk-aware Safe Control for Decentralized Multi-agent Systems via Dynamic Responsibility Allocation [36.52509571098292]
  我々は,個別のエージェントが他者との衝突を避けるためにどの程度の責任を負うべきかに関するガイダンスを提供する,リスク対応の分散制御フレームワークを提案する。 本研究では,移動不確実性下での衝突により発生する危険物質を特徴付けるために,新しい制御バリア関数(CBF)によるリスク測定を提案する。 ロボットの柔軟性を低いリスクで活用し、より高いリスクを持つ人の動きの柔軟性を向上させることで、集団安全性を向上させることができる。
  論文  参考訳（メタデータ） (2023-05-22T20:21:49Z)
• Sample-Based Bounds for Coherent Risk Measures: Applications to Policy Synthesis and Verification [32.9142708692264]
  本稿では,リスク認識の検証と政策合成に関するいくつかの問題に対処することを目的とする。 まず,確率変数分布のサブセットを評価するサンプルベース手法を提案する。 第二に、決定空間の大部分を上回る問題に対する解を決定するロボットベースの手法を開発する。
  論文  参考訳（メタデータ） (2022-04-21T01:06:10Z)
• Risk-Sensitive Sequential Action Control with Multi-Modal Human Trajectory Forecasting for Safe Crowd-Robot Interaction [55.569050872780224]
  本稿では,リスクに敏感な最適制御に基づく安全な群集ロボットインタラクションのためのオンラインフレームワークを提案し,そのリスクをエントロピーリスク尺度でモデル化する。 私たちのモジュラーアプローチは、クラウドとロボットの相互作用を学習ベースの予測とモデルベースの制御に分離します。 シミュレーション研究と実世界の実験により、このフレームワークは、現場にいる50人以上の人間との衝突を避けながら、安全で効率的なナビゲーションを実現することができることが示された。
  論文  参考訳（メタデータ） (2020-09-12T02:02:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。